據古老流傳之故事，烏鬼洞往昔曾發生一段黑奴血淚史：由於琉球嶼與呂宋島遙遙相對，來往其間之船隻為避風浪，常於島邊拋錨停泊（該洞北方蛤板外海有錨泊地），該洞之黑奴則於黑夜，潛行海中，以鏢器把船底穿洞，待船員發覺時，船已入水，載重輪船就此沈沒，烏鬼即將船上物件、食品悉數搬運一空。後來由於沈船事件屢次發生，引起航海船隻之注意，經過調查，始悉烏鬼所為，遂另擇地登陸搜查巢窟，乘黑夜之際，將柴草堆積洞外，引火焚燒，烏鬼盡死洞中，屍體骨灰無數，從此沈船事件即鮮有發生。

烏鬼洞之由來，另有記事碑文一方置於珊瑚礁壁之上，其內容略以：「明永曆十五年，延平郡王鄭成功光復台澎，驅走荷人，少數黑奴未及時歸隊，逃來本嶼，潛居此洞。數年後，有英軍小艇於此洞西北之蛤板登陸，觀賞風光，黑奴乘虛搶物燒艇，並盡殺英軍，旋被搜尋英艦發現艇毀人亡，乃上岸搜索，但黑奴潛伏洞中，百般誘脅誓死不出，乃堆柴灌油引火，悉數焚死（清章占秋謂係被泉人所焚斃），後人遂名之烏鬼洞，悉指黑人曾棲息此洞也。……」

烏鬼洞附近小坡處有兩隻大蚌化石遺跡，直徑約一公尺，深印入岩壁中，花紋清昕，據云已有數十萬年之歷史，深具學術研究價值，是以該洞已成為島上最具盛名之觀光勝地，歷經滄桑數百年，洞穴已閉塞泰半，鄉公所為維護古蹟，發展觀光事業，特於洞外岩壁刻以「烏鬼洞」三字以資紀念。