넓은 중국땅을 처음으로 통일하여 황제가 된 진나라 始皇은 천하에 부러울 것이 없었다. 모든 권한을 한 손아귀에 넣고 온 천하를 호령하면서 온갖 영화를 누릴 수 있었기 때문이다.
그러나 한 가지 아쉬운 것이 있었다. 그것은 늙음을 막고 수명을 연장하면서 장수 영생할 길이 없을까 하는 것이었다. 그리하여 시황은 신하들에게 불로장생할 수 있는 영약을 구해오는 사람에게는 큰 상을 내릴 것을 약속하였다.
이때 서불이 시황 앞에 나타나 그 영약을 자기가 구해 올 수 있다고 장담하였다. 그가 말하기를 "동해바다 한 가운데 瀛洲山(영주산)이 있는데 그곳에는 오직 신선들만이 살고 있으며 불로장생의 영약도 있습니다. 신에게 동남 동녀 각 5백을 딸려 준다면 반드시 그 영약을 구해 올 수 있습니다."고 하였다. 시황은 기쁜 나머지 그의 요구를 모두 들어주기로 하였다.
이에 서불은 崑崙山(곤륜산)의 천년묵은 고목을 베어 큰 배를 만들고 동남 동녀 5백을 거느리고 제주도를 찾아왔다.
일행이 처음 도착한 곳은 조천포였다. 이곳에서 아침해가 솟아오르는 것을 보고 「朝天」이라는 글자를 바닷가 바위에 새겨 놓았으며 한라산에 올라 영악을 찾았으나 영악을 얻을 수 없었고 대신 시로미(岩高蘭)을 캐었다. 그들 일행은 서귀포로 내려와 이곳 정방폭포 암벽에 「徐市過之(此)」라는 글을 새겨 놓았다. 그들은 「西쪽 돌아간다」는 말을 남기고 떠났는데 서쪽으로 간 것이 아니라 반대쪽인 일본으로 건너 간 것이다.
이 「서불과지」라는 마애각은 8·15 이후까지도 남아 있었으나 정방폭포 위에 전분공장이 생겨 폐수가 이곳으로 흐르기 시작한 뒤부터는 볼 수 없게 되었다는 것이다. 또 이들 일행이 「서쪽으로 돌아갔다」고 하여 「西歸浦」라는 지명이 생겨났다고도 전해지고 있다.
또 일설에는 이들 일행이 떠날 때 동남 세 사람이 낙오되어 그대로 제주도에 남게 되었는데 이들이 탐라를 건국하는 시조가 되었으며 또 일본에 건너간 서불이 이들 세 낙오자를 위하여 세 동녀를 보내어 짝을 맺도록 하여 건국의 대업을 이루도록 도왔다는 것이다.