相傳伍子胥過昭關(guān)，由楚奔吳，被迎面大山擋住去路。他跳下馬，拉著馬尾巴，連人帶馬，倒著登上了山頭，留下了反方向的足跡，迷惑了追兵，伍員山因此得名。

山上山下都曾有伍相國(guó)祠，歷代都有文人墨客前來拜謁，留下了不少詩(shī)篇。山下建有療養(yǎng)院，院內(nèi)樓臺(tái)亭閣、花圃、園林、小橋流水、游泳池、運(yùn)動(dòng)場(chǎng)、假山，布置得錯(cuò)落有致。

自有歷史記載以來，伍員山從公元前500多年的春秋戰(zhàn)國(guó)至今，已超過2500多年的歷史。幾經(jīng)戰(zhàn)火洗禮，她如同一位履歷豐厚的老人，歷史的車輪如若能夠倒轉(zhuǎn)，她將告訴我們江南一帶至整個(gè)民族的巨變和光衰。至今伍員山仍然蘊(yùn)藏著令人不解的許多景觀和古跡，無不令人喟嘆。自山腳下白廟（至今民間香火不斷）遺址開始，沿著近800米長(zhǎng)的人工石階攀登至山腰，左側(cè)“伍牙飛翠”系郎川古代八大景之一，右側(cè)為200余米長(zhǎng)、4米余寬的“跑馬道”，山南有龍王廟舊址（此廟在民國(guó)已被國(guó)民黨燒毀），廟前有參天古樹，廟后有古井兩口，井水清澈，常年不枯，群眾稱之為神水；每遇大旱，周圍數(shù)十里群眾便往此廟祈禱求雨。沿石階至山頂，有500余平方米平地，此為子胥廟殘址。佇立山頂，；加之山腰煙霧繚繞，頭頂紫氣氤氳，令人仿佛置身于仙境，流連忘返，頓覺心曠神怡。