Construite dans les années 1940[1], la maison en pierre est faite en granite provenant de la carrière de pierre de Diamond Hill(zh)[1], et est une structure typique de la région[2]. Sa construction est basée sur l'un des quatre grands romans classiques chinois, Le Rêve dans le pavillon rouge[3]. En 1947, le terrain est acheté par Yang Shou-ren (楊守仁), qui le nomme Tai Koon Yuen. Plusieurs studios de cinéma s'installent ensuite dans le secteur et des hommes d'affaires font alors construire des maisons en pierre à deux étages pour héberger les artistes et les cinéastes[1]. La maison en pierre appartenait à Wu Jun-zhao (吳君肇), ex-directeur de l'ancienne Shanghai Bank of Communications, qui l'a loué à l'acteur Roy Chiao[1] entre les années 1950 et 1960[4]. La maison au 5 Tai Koon Yuen, aujourd'hui démolie, était autrefois le logement du réalisateur Li Han-hsiang[4].
Le , le quotidien Oriental Daily News(en) publie un article informant que le gouvernement prévoyait de retirer sa classification de bâtiment historique à la maison en pierre et de la classer comme « nul », suggérant que cela aurait pour but de faciliter la construction de la ligne de métro Sha Tin to Central Link(en). La classification en « nul » est confirmée le [5].
