相傳兩千多年前的春秋戰國時期，楚國音樂大使俞伯牙路過漢陽江口，夜泊江岸，觀賞夜色，撫琴抒懷，彈起高山流水的曲子，正巧岸邊樵夫鐘子期善知音律，從琴聲中了解到伯牙抱負，聽罷不禁贊許說：“峨峨兮若泰山，洋洋兮老江河。”伯牙遇到知音，十分高興，兩人送結為知交，并約定來年再在此相會。第二年，伯牙來到龜山腳下，子期已經逝世，深感知音難得，他特地到子期墓前，重彈“高山流水”舊曲，彈罷，即破琴絕弦，終身不復鼓琴，這就是流傳干古的“摔琴謝知音”的故事。后人感其情誼深厚，就在漢水和長江匯合處，風景秀麗的月湖邊筑過一座琴臺，表示紀念。這座古琴臺也稱伯牙臺。南北朝梁簡文帝蕭綱曾經寫過一首《登琴臺》詩，詩中有兩句：“音容萬春罷，高明千載留。”表達了崇敬的心情，可見，在距令一千四百多年前。已筑有琴臺。清朝嘉慶年間重修，解放后，又作了全面整修，這是現存最早的一座古琴臺了。
古琴臺遺址已有了不少附設建筑。主體建筑是一棟單檐歇山頂式前加抱廈的殿堂，檐下匾額上書“高山流水”四字。堂前有漢白玉筑成的方形石臺，傳為伯牙當年撫琴的地方。
