關于此景的由來，民間亦流傳一則故事：在很早很早以前，人與仙的區別就在于壽數。凡活到九十開外未滿百歲的人統統叫做“半仙”。半仙們只要上了天都，跨進靈霄，朝拜那玉皇大帝，經過御封欽點便可位列仙班，獲無量壽福。有一天，從東南西北中來了趙錢孫李周五位朝天討封的半仙。他們過半山寺，越龍蟠坡，如履平川，毫不費力。他們一看天都在望，仙位唾手可得，心里樂開了花。他們個個又都是做聯句詩的高手，不禁相互唱和起來：趙半仙首先開口道：”夏不衣綢緞，冬不著皮裘”；錢半仙續上一句：“葷腥我無緣，終年食甘蔬”。孫半他接著說：“不慕廣華廈，棲居陋室久”；李半仙則說：“飯后百步走，勞役自動手”；周半仙笑著說道：“心胸坦蕩蕩，無愁又無優．”這五位半仙老翁，就“衣、食、住、行、思”五個方面，吟成一首“長壽訣”，可萬萬沒想到這是“泄漏天機”，違犯了天規．玉皇大帝立即施展淫威，一面切斷這五位率仙上天都的去路，一面又將他們點化成一組寸步難行的石頭，這就是、“五老上天都”巧石的來歷．但民心不可違，這“長壽訣”仍不脛而走，世代流傳，直到后來編寫《百家姓》的人，仍尊此五老為華夏百家姓氏之首。五老也更愛民助民，即使已變成石頭，還施了法術變成一只伸頸昂首的“金雞”，留給世人以“天門可以叫開，壽福可以追求”的啟示。