传说古代一位渔翁，长年在鸭绿江上游一带打鱼，这天他在江上打完鱼正准备收网回家，忽然发现距江边一里多地的平地上凸起一座孤岛，渔翁感到纳闷，自己在这一带打鱼打了几十年了，却从来没发现那里还有座孤岛。出于好奇，他便走过去想看个究竟。渔翁登上石岛，发现有两位鹤发童颜的老人正在那里下棋，渔翁在一旁观战，一局未完，渔翁怕家人等他，匆匆赶回江边自己的家中。到家后，他被眼前的一切惊呆了，渔船已经腐烂，房屋已经倒塌，家人也都不知去向。他到附近一猎户家打听家人的消息，猎户正准备出去打猎，见渔翁来了，转身就往屋里跑，还一边跑一边问：“你到底是人还是鬼？”渔翁说：“我是人啊，到底发生了什么？”猎人告诉他，你已经失踪十多年了，家人以为你打鱼落水淹死了，找了很长时间也没找到你的尸首，所以就都搬走了。究竟搬到了哪里，谁也不知道。渔翁听了之后，如梦初醒，方知两位对弈者是仙人，石岛自然也就成了仙人岛。

　　经专家考证，在原始社会晚期，仙人岛附近就有先民居住，距今2000多年以前(相当于汉代)至唐代渤海时期，靺鞨人又继续在这里生息，并筑有长达1000多米的古城。1990年，又在仙人岛西部发掘一座古墓和两座较完整的半地穴式房址，经考证为新石器时代的文物遗址。