전설에는 석가세존께서 금산 상봉에서 득도를 한후,
돌로 배를 만들어 타고 쌍홍문을 지나 세존도의 바위섬을 뚫고 지나갔다고 하는데

그때 돌배가 지나간 흔적이 바로 금산의 쌍홍문과 세존도에 난 2개의 동굴이라고 전한다.

세존도 라는 섬 이름도 이때 세존께서 이곳에 머무르다 가셨기 때문에 생긴 이름이다.

그런 때문인지 섬꼭대기에는 스님 모양을 닮은 스님바위도 있고
동굴 천장에는 "미륵"이라는 글씨도 있다고 하는데
불교와 깊은 인연이 있는 섬임에는 틀림이 없다.

일년내내 시도 때도 없이 부는 바람 때문에 나무라고는 자라지도 못하고
이름없는 키 작은 풀들만 바위틈에 조금씩 자란다.

사람이 살지 못하니 바다 갈매기가 이 섬의 주인인 셈이다.