西岛有人类居住的历史已经有四百多年，现在岛上分东村、西村和新村三个小村庄，村民世代以打鱼为生，居民700多户，近4000人，都是汉族，有麦、陈、谢等10个姓氏。

      西岛人与三亚港门村人有着很近的血缘关系，村民的婚丧嫁娶的习俗和港门村人相同。西岛人的祖先是福建省甘蔗园村人士，明朝的时候村民为了谋生，他们一个族群或一个村落的迁往海南岛，不幸的是他们在海上遇到了台风的袭击，一部分飘泊到三亚的港门村，另一部分飘泊到西玳瑁洲就是今天西岛上的原住民，还有一部分是崖州即三亚的人，他们多为捕鱼而短暂的居住在岛上，还有一部份是为了躲避海盗而流浪到西岛上，慢慢的他们一边捕鱼，一边发展生产逐渐的形成了村庄，这就是西岛的“土著”居民。

        以前渔民都是从海里拣石头---基本都是珊瑚石(这里盛产珊瑚)来盖房子的,由于是靠近海边,风大,这里又是台风的频繁光临地,所以古时渔民的房子都不是很高的,但是房子很有自己的风格和特色,而且非常的牢固耐用,现在还保存许多的古老的珊瑚石老房子。大海养育了西岛世世代代善良的村民，村民也在用自己的辛勤劳动努力的建设着自己的家园，岛上的一些年代久远的房子就是用珊瑚石修葺而成的，具有很高的艺术价值。旅游纪念品是岛上主要的加工业，渔家小院会堆放一些珊瑚石和彩贝，村民用他们做出各式的手链耳环等饰品。