最早有关蜈支洲岛记录的年代在清朝。清光绪年间，海南有位游方道人吴华存遍游海南诸岛，希翼寻访炼丹修身之处。当他看到蜈支洲岛的风光旖旎和山海之间的万千气象, 便欲在此结庐而居, 炼丹修身。
此事被当时的崖州知府钟元棣获悉，随即前往查看。果见小岛风光与风水俱佳，认为如此宝地不应为个人所有，理当造福于 民。于是他制止了吴道人的行为，由州府筹资在岛上修建了一处庵堂，取名为“海上涵三观”。供奉的是中国汉字的创始人仓颉，这在国内亦属罕见，在海南的文化 发展史上写下重重的一笔，常留青史。
建庵时间为公元1893年，距今已有100多年的历史。清廷衰败后，庵堂乏人打理，日渐破败荒废。当地渔人索性改塑妈祖神像，供奉起传统的海上护佑神妈祖，从而求得面对苍茫大海时的虔诚祈祷。
解放后，该岛被解放军征用，做为战略防御的重点地区。因为该岛东南方向距公海仅12海里左右，在常规武器战争条件 下，它的战略位置十分重要，是防御的前沿阵地。五十年代的朝鲜战争，六十年代同台湾国民党政府的军事对峙，七十年代初的越南战争，都使这里始终充满了战争 的气氛。
据当时部队人士回忆，在山顶上用高倍望远镜甚至可见公海上美国第七舰队军舰上的人员活动情况。因此解放后三十年来，部队在岛上修筑了大量的地下战备工事，总长度相加有4公里长。
进入九十年代后，和平与发展成为世界的主题，而且随着现代战争武器的发展，这里也失去了战略意义，部队于是放弃了这里，从此翻开了蜈支洲岛作为度假休闲圣地新的历史篇章。
