公元前221年，嬴政扫灭六国，定帝号“始皇帝”。天下一统，但嬴政深知，权力只是虚无，死亡才是永恒，所以他最迫切的需求是长生不老，获得永生，这样才会有永恒的权力！
此时，有方士徐福自齐地献奏，其疏云：“海中有三神山，名曰蓬莱、方丈、瀛洲，仙人居之。请得斋戒，与童男女求之。”——意为海上有三座神山，仙人居住其中，若能让他斋戒后带领童男童女前往，求仙问药，定能为始皇帝带回不死之方，这番话，深深触动了嬴政。
公元前219年，嬴政东巡至琅琊台，召见徐福。徐福再言：“仙人非不赐药，唯需诚心为礼。童男童女，乃天地间至纯至净之体；百工技艺，可表人间至敬之心。”嬴政当即下令，选童男童女各五百、百工百人，备足粮草器具，令徐福率队出海。此次东渡，《史记》载“费以巨万计，终不得药”，徐福耗费巨资，却未能带回仙药。
公元前210年，嬴政再巡琅琊，徐福因求药无果，恐遭诛杀，于是编造理由：“蓬莱药可得，然常为大鲛鱼所苦，故不得至，愿请善射与俱，见则以连弩射之。”仙药本来可以取得，却被巨大鲛鱼阻拦，需带善射者与连弩同行才能清除障碍。他更进一步请求：“遣振男女三千人，资之五谷种种、百工而行。”这次要求派遣三千童男童女，携带五谷种子与各类工匠再行出海。求药心切的嬴政再次应允。
同年，徐福率庞大船队再次入海，《史记》记载：“得平原广泽，止王不来。”这是说他们找到一片广阔平坦、水草丰茂的土地，在此定居称王，再也没有返回。而嬴政，在东巡途中病逝于沙丘平台，至死未等回他的“长生药”。
司马迁只说徐福去了“平原广泽”，具体是什么地方，却没有准确说明，后世就有了种种猜测。
东汉《后汉书·东夷列传》说徐福东渡是到了海岛之上：“会稽海外有东鳀人，分为二十余国。又有夷洲及澶洲。传言秦始皇遣方士徐福将童男女数千人入海，求蓬莱神仙不得，徐福畏诛不敢还，遂止此洲，世世相承，有数万家。”称徐福因害怕被治罪，留在了会稽海外的“夷洲”或“澶洲”，但具体地点仍不明确。
直至五代后周时期的《义楚六帖》，首次明确徐福是到了日本。书中载日本僧侣弘顺之言：“日本国亦名倭国，在东海中。秦时，徐福将五百童男、五百童女，止此国，今人物一如长安……又云，徐福至此，谓蓬莱，至今子孙皆曰秦氏。”明确指出徐福带童男女留在日本，还将日本视为蓬莱，其后代皆姓秦。此书亦提及“日本有蓬莱山，又名富士山”。
此后，北宋《欧阳文忠公全集》、元代《日本考》等典籍，均沿袭“徐福止日本”之说。而日本本土，不仅接纳这一传说，更将徐福尊为“农耕之神”“医药之神”“纺织之神”。
日本和歌山县新宫市有“徐福墓”“徐福祠”，世代祭祀；佐贺县金立山有金立神社，供奉徐福为神，每五十年举“徐福大祭”；青森县、富士山麓等地，亦有徐福登陆的传说。日本文献中，13世纪都《神皇正统记》中首次记载了徐福东渡至日本的事情。
近现代史学家研究发现，徐福东渡的时间（公元前3世纪末），正好是日本从绳文时代向弥生时代过渡的关键期。绳文时代的日本以渔猎为生，无农耕、无金属工具；而弥生时代（公元前300年—公元250年），日本突然出现巨变：
其一，水稻种植技术普及，田垄布局、灌溉方式与中国战国至秦代水稻田一致；其二，青铜器（铜剑、铜铎）、铁器大量出现，形制仿中国同期器物；其三，弥生式陶器取代绳纹陶器，工艺明显受我国大陆技术影响；其四，社会结构从氏族发展为阶级部落联盟。
学术界公认，推动“弥生革命”的是来自大陆的“渡来人”，因秦统一战乱、自然灾害等，华东沿海居民分批渡海至日本，带来先进文明。而徐福率领的三千童男女、百工与五谷种子，极可能是“渡来人”中规模最大、组织最严密的一支。
虽然没有再日本岛发现“徐福到此一游”的直接物证，但徐福的故事，实则是对“渡来人”文明传播的浓缩：众多无名渡来人改变了日本历史，而徐福因与秦始皇的关联被载入史册，成为早期文明传播者的代表。