第一代傳說:
塘西風月的年代，有富家子戀上一名不幸誤入風塵的女子，想娶為妻室，但給 家人反對，認為邪花入宅，必定家散人亡。風塵女子一心以為可以埋街食 井水，誰知事與願違，萬念俱灰下，便走到常與情人談心的三馬路(寶雲道舊稱)，在石柱旁自殺。富家子隨後趕到，抱屍痛哭，亦上吊殉情。二人死後陰魂不敬，常雙雙出沒，狀甚恩愛，街坊便設壇膜拜，後消息傳回石塘咀，一眾大寨姊妹紛紛來祭，求二人的陰靈庇祐，讓她們尋得戶好人家，早日脫離火坑。(按:六十年代末出版的《香港掌故》一書。載有石塘咀大寨錦繡堂的妓女，因拜姻緣石而心想事成之事)

第二代傳說:
日治時期，有女與日人相戀，已到談婚論嫁的地步，但日本不久戰敗，女方家人恐被視作漢奸，悍然拒絕婚事，二人便貝在夜私奔，逃到半山寶雲道旁的一巨石柱下躲藏，最後餓死石下洞窟中。二人死後，報夢予附近坊眾，說他們已成仙，附在石柱身，若想婚姻如意，可攜冥鏹往祭，必定願望成真。結果一傳十，十傳百，人人都到石柱拜祭，香火鼎盛，姻緣石之名遂不脛而走。

第三代傳說:
五十年代，一名英籍海員與土生的水上姑娘一見鍾情，但夷夏之防阻礙二人的感情發展，女方家長極力反對鬼佬追求其女，後海員離開香港，出海之目，答應少女必定回來找她，少女便每天跑到寶雲道的石柱旁，遠眺海岸，希望見到愛郎的歸航。可惜時光飛
逝，海員卻沒半點音訊，少女開始懷疑受騙，傷心失望之餘，竟在石旁吊頸自殺。誰知海員只是因工作耽誤行程，當他知道愛侶自盡，痛苦萬分，便在少女自殺的地方輕生，以望來世再續前緣。傳言二人死後，便化身靈百上，為千千萬萬信眾結合姻緣，免世人重
蹈自己的不幸。