从先秦时代开始，就不断有大陆移民进入日本列岛。最早用文字撰述的日本史籍《古事记》、《日本书纪》中，把外来移民称之为“汉人”、“新汉人”、“吴人”、“唐人”、“归化人”等。其中也不乏日本朝廷为吸收先进文化，引进技术人才，多次遣使至中国大陆和朝鲜半岛寻觅、劝诱汉人来日等，种种因素推动了大陆移民的赴日高潮。
在日本早期史书《古事记》和《日本书纪》等书中，把这些来自朝鲜半岛的汉族称为“归化人”，他们有一个共同的特点，那就是，这些人常常自称为秦始皇或者汉高祖的后裔。比如，弓月君及其所率领的秦人，自称为秦始皇的后裔；阿知使主及其儿子刘都贺率领的汉人，自称为汉献帝的后裔；身狭村主又自称为三国吴孙权的后裔；再如司马达止等则自称为东晋司马氏的后裔等等。不可否认，这些“归化人”，其中包括有秦皇汉武的血统后裔，但是秦、汉、吴、晋等国号却更代表他们进入朝鲜半岛和日本的时代或地点。
人的生活方式、习惯或特点可以改变，而种族的心理状态、思想感情和意识等等，却不是轻易可以泯灭的。所以，尽管他们在日本群岛定居很久，甚至已成为道地的日本群岛的居民，仍然认为自己是汉人。
日本史书里经常被提到的汉族“归化人”的代表，有弓月君、东汉直、西文首等人。据《古事记》和《日本书纪》所载，大约在4世纪初，弓月君率一百二十县部民归化日本，这是后来他们被称作秦氏一族的来源。秦氏一族在日本的活动主要在农业技术以及与农业有关的土木工程方面，而养蚕业和制丝业是秦氏一族主要从事的职业之一。众所周知，《三国志》倭人传中的邪马台国已有养蚕及丝织业。但是那时的技术非常低下、简陋，秦氏一族抵日本后，开始从事养蚕制丝业。从此，日本群岛上的养蚕制丝业得到了极大发展。到雄略纪时(也就是倭王武时代，大约在5世纪后)，由于各地豪族的役使和人身占有，独立从事生产的归化人所剩无几，严重影响到养蚕制丝业的发展。因此雄略王下令，收集秦氏遗族，一共得92部18600人，赐其首领名为酒公。下令酒公率其部民养蚕制丝，贡献庸、调。在酒公的督领下，秦氏民众辛勤劳动，业绩显著，所献绢、帛数量大增，所织绢、帛质地优柔，着肌软滑适意，雄略王大喜。据史书记载，雄略王为了酬谢酒公之劳，特赐姓波多公。后人以汉字秦代替波多，写为秦酒公。后来秦酒公在政治上有了地位，成为日本统治者中的一员，又被称为太秦公。
秦氏一族不仅在养蚕和农耕方面的业绩显著，在土木工程方面的建树也十分突出。倭王为贮藏秦氏所献的绢、帛，特令秦氏建造八丈大藏于宫侧。名其地曰：长谷朝仓宫。八丈大藏，在当时的侯国是一项前所未有的、规模较大的建筑。大藏建成后，秦酒公就成为管理大藏的官吏，称为具有实力的地方豪族和倭王的得力官吏，形成地域集团的首领。由倭王赐姓为直，成为日本古代重要的氏姓巨族之一。
东汉直的祖先是阿知使主。阿知使主一族在手工业中的业绩显著，其中一些人逐渐成为倭王政权中的中下级官吏，进而变成拥有氏姓的“官人豪族”，成为日本古代社会中一支不可忽视的力量。
西文首氏到达日本群岛的时间，可能略晚于秦氏和早于东汉直氏。这一族的归化汉人中有不少知识分子，在倭王政府中从事文笔工作。他们承担政府中各种账簿记录的整理、外事往来文件的起草和翻译等项工作。其中一些人也许就是邪马台国时期从事翻译工作的后裔。倭王政府的外事工作，在当时主要是对中国的外交往来和对朝鲜半岛的外交活动。而这两方面的工作都要使用汉文。因此，汉文字和中国的经典书籍，通过他们的手逐渐介绍到日本，为中国的儒家思想传入日本打下了基础。
王氏一族原是山东半岛的巨族大姓，由于避战乱迁至乐浪郡，并在那里做过郡守。其后裔中知识分子很多，担任过历代乐浪郡的各种官职。在公元313年乐浪郡灭亡后，其中一部分人移居于百济。后来，王氏的后裔从百济再迁移至日本，并定居于河内古市郡一带，现今的西琳寺，据传即西文首氏的氏寺。因所居之地靠近河道，因而和船运、物资的收藏、管理、搬运等工作发生联系。经过长期的发展，这一族也形成拥有氏姓的地方豪族。为和东汉直归化汉人相区别，且居于大和的西部，遂称为西文首氏。
就这样，秦氏、东汉直氏、西文首氏等归化汉人，以其大量的经济活动，逐渐形成地方氏姓大族，进入倭王政府，成为日本统治阶级的组成部分。
隋唐时期中日交往频繁，日本派遣有大量遣唐使，唐朝有时也派遣使者到日。由于航行艰险，他们往往居留下来，归化日本。如沈惟岳、袁晋卿等，都在日本朝廷任职。唐朝僧人也有随遣唐使赴日的，最有名的是鉴真东渡。有趣的是，伴随着大规模的人员交往，出现了很多唐日之间的跨国婚姻，如遣唐大使藤原清河娶的就是一位中国新娘。可见，跨国婚姻不是今天才有的时尚，早在一千多年前的唐朝就已相对的普遍了。安史之乱后，唐朝衰弱，藩镇割据混战，民不聊生，此时直至唐末，又陆续有不少民众驾舟东渡，但规模已无法与两晋时相比。甚至有传说杨贵妃并没有在马嵬驿被缢死，而是随使者逃到了日本，据说日本还有人自称是其后裔。
移居于日本群岛的汉族，不只上述几族。据9世纪初日本天皇政府编纂的《新撰姓氏录》所载，在天皇政府中有一定政治地位的氏中，在京城、山城、大和、摄津、河内、和泉等地区收集起来的归化人共有324氏(其中一部分是汉族)，约占日本全部氏的百分之三十。
日本一位史学家就说：“只要统计一下我们祖先的数字就明白了。可以说我们现代的每一个日本人，都继承着一千数百年前生活着的全部日本人的血液，所以，必须承认，我们不论谁的血液中，都含有百分之十或二十古代归化人的血液。”