跨越夏、商、周三代，进入秦汉（西汉）之世（公元前222年——公元20年），珠江口的岸滨线继续向香山岛扩展。西北面岸滨已从龙江地段扩展至大良地段。东北面已越过莞城地段，扩至莞城郊之西。西南面也进一步向香山岛靠近。今双水、礼乐、斗门地段的大片海潍，陆续成陆变成沙田。至于东南面即东莞南部，已形成半岛新陆，即今南头、深圳一带。半岛之南有若干岛屿，其中最大的一个名大奚山岛（又名？洲岛，即今大屿山），正好与西面的香山岛遥遥相望。 　　此时之香山岛，距珠江口岸滨的里程继续缩短。距西北面岸滨的大良地段，约45公里，比龙江地段缩短10公里多。距东北面岸滨的莞城西郊地段，约120公里，比莞城缩短30公里。西面岸滨虽仍是江门地段，但西藏自治区海陆续形成沙田和涌现岛屿，相对来说也缩减了海程。东面越过伶仃洋，正对半岛南面之大奚山岛，同为守护珠江口的两只眼睛，互距约70公里许。 　　至于居民方面，不论是香山岛抑或整个南越地区，都同样发生重要的变化，出现了秦军南进和夏族南移的新情况。大批中原华夏族人越过五岭（《史记·陈余传》：秦“南有五岭之戍” 。乃越城、都庞、萌渚、骑田、大庚五岭的总称，在湘、赣、粤、桂四省的边境），来到珠江流域一带乃至珠江口海面的香山岛定居。而过去不属“少康之后”的“自岭而南……蛮夷之国”，以及一向是南越部落氏族定居的香山岛，也就首次纳人华夏一统的版图——秦朝的版图。 　　《史记·秦始皇本纪》中说：“略定扬越，置桂林、南海、象郡。”这段历史指公元前221年（秦王政廿六年），秦始皇统一六国后，派国尉屠睢、大将任嚣、赵佗等领兵50万（据《淮南子·人间训》），从楚地出发，分三路进军南越：一路过大庚岭，下浈水；一路过骑田岭，下连江；一路过萌渚岭，下贺江。这时的南越，各部落各氏族的酋长、族老互不统属，军力微弱，力量分散，根本没法同人数众多、配备精良的秦军抗衡。秦军克服路陌、山崎、水阻、林障等困难，经过连续七年的征战，终于掠平五岭以南的桂江、珠江、韩江三大流域的广阔地区。公元前214年（秦始皇三十三年），秦朝在新平定的岭南地区置桂林、南海、象三郡，即在原七国地区建起的36郡再添三郡。今广东省的大部分地区属南海郡，郡 治番禺（即今广州），下辖番禺、四会、龙川、博罗四县。今广西壮族自治区大部分属桂林郡。海南岛及南路属象郡。秦朝的职官制是郡设郡守、郡尉、监御史分掌政务、军事和监察职能，但岭 南三郡是磨擦置的“初郡”尚属“军政”时期，官制还未完备，由郡尉统管一切。当时，任南海郡尉的是任嚣，赵佗任龙川县令。 　　随岭南并入秦朝版图后的香山岛，属南海郡番禺县地。此时的番禺县，辖珠江三角洲及珠江口地段（含珠江口东岸的东莞地段和西岸），附于珠江口东西两岸的大奚山岛和香山岛，同属番禺县管辖。 　　定居岭南。这些定居岭南的南下夏族人，当时称作“中原人”或“中县人” 。由于岭南三郡以南海郡人烟较密，而南海郡又以珠江三角洲开发较早，郡治番禺正位于三角洲北缘的西、北、东三光交汇处，水陆交通都比较发达，故定居珠江三角洲周围的“中原人”也特别多。香山岛和大奚山岛同属东莞地段的渔猎伸延区，而东莞地段成陆较早，部落、氏族聚居与较早，渔、农、盐业开发也较早，且邻近郡治和县治，故当时从番禺来香山岛的路程，是先经东莞地段再横渡伶仃洋，沿珠江口东岸来的。为什么当时不从西岸来？因为那时候顺德地段大部分还属海面，其北部大良地段虽是新成陆，但仍是半潮半沙的海滩，人烟尚疏，交通尚未开发也。于是乎战后复员的大批秦军及其眷属，纷纷择业而事，择地而栖。有的落籍番禺，有些定居莞地，有些甚至来到香山岛就史无前例地出现了来自天朝文化、经济发达地区的中原夏族人，并同本地的？族、黎族、产里等居民和睦共居，互通有无。 　　但料想不到岭南地区纳人中原版图才五年，秦朝政局起了变化，“万世基业”已经不稳，导至岭南一度又脱离中原。公元前210年（秦始皇三十七年），始皇崩，二世立，赵高弄权，推行苛政重赋，且大量征用民役：用30万人筑长城，50万人戍岭南，70万人修宫殿和筑始皇陵……。逼得民不聊生，群起反抗。公元前208年（秦二世二年）爆发陈胜、吴广为首的农民大起义。各地英雄揭竿，豪杰聚集，一致愤怒秦政之暴虐殃民。也正在这个时候，南海郡尉任嚣去世，龙川县令赵佗继任南海郡尉。赵佗审度秦朝不得民心及各地群雄并起的局势，作出拥军自立的抉择。他一面派兵封锁南越北部的横浦（大瘐岭）、阳山（今阳山县境）和湟溪（连江口）三个关口，切断中原南下的重要通道：一面排斥郡内原任的各级官吏，安插自己的亲信。接着就出动大军，并吞桂林、象两面三刀郡。经过两年的军政调措，将整个岭南地区，完全掌握在自己手里。公元前206年（汉高祖一年），赵佗就在境内中原人的支持下，建立了一个广？千里、夏越共处的南越国，以番禺在王都，自立为南越武（公元前206——公元前187年）。香山岛又成为南越国南海郡番禺县的一个海岛。公元前196年（汉高祖十一年），汉高祖派陆贾到番禺，说服赵佗接受汉朝给他的同名封号——南越王。自此南越国名义上臣服汉潮，成为一个半独立的藩邦，维护了汉朝国家的团结统一。 　　赵佗建坝越国后，注意尊重南越族人的传统风俗和社会习惯。在引入中原文化的同时，保留南越族人的文化风俗，促使中原文化与南越文化逐渐糅合。与此同时，在南越国各级官吏中，使用中原人与使用南越人并重，着意培养南越族的干部。而赵佗在南越居民群众面前，抒尊自称为“南越人” ；而在上书汉文帝时，也自署为“蛮夷大长” 。至于南越国的军队，原来的秦军士卒，多已年超级大国退伍，遂大量补充南越族人，使之成为一支有南越血缘和地缘的地方军队和子弟兵。甚至军队官兵死后，也采用夏、越文化融合的葬仪，体现夏、越互尊互爱。珠江三角洲至今尚未发现南越族人的专门墓地，从已发掘的南越国时期的墓地看，都是按地位区分的夏、越共葬的墓群。在同一墓葬的陪葬品中，中原夏式与南越越式的器皿兼而有之（见麦豪黎金：《汉代的番禺——广州秦汉考古举要》，载于《穗港汉墓出土文物》）。 　　刘邦当时也曾肯定过赵佗以民族平等政策治理南越的功绩。据《汉书·高帝纪》载：汉高帝曾说过， “会天下诛秦，南海尉佗居南方长治之，甚有文理，中县人以故不耗减，粤人相攻击之俗益止，俱赖其力” 。 　　南越国建立后，赵佗执政70年，以后再传四代，共95年（公元前206年——公元前111年）。第五代南越王赵建德一反赵佗尊汉和越政策，竟举兵叛汉。汉元鼎六年（公元前111年），汉武帝发兵10万，讨平南越，从此岭南又回归华夏祖国，纲八汉朝的地方郡县体制。香山岛乃属汉朝南海郡番禺县南部的一个海岛。由于汉军征讨止于番禺，故又有大批中原人居留在珠江三角洲一带，寄寓莞 地和落籍香山的也进一步增多。 　　移居香山岛的中原华夏族人，在同？、黎、俚、壮等族居民和睦相处的同时，仍保持其原来治学、致仕、科举、求功名的传统。其中最突出的代表人物，要数香山古代乡贤祠中的先贤第一人——陈临。据清光绪《香山县志》载：“陈临，字子然，南海人（明黄佐《广东通志》云：‘今广州香山县’），家居海岛。奋志不同蛮俗，郡举孝廉。（汉）顺帝永建中，官至苍梧太守，推城而理，导民以孝弟。民有遗腹子为其父报怨杀人者，为吏所获。临知其无嗣，令其妻侍狱中，后产一男。郡人歌日：苍梧府君恩广大，能令死囚有后代，德参古贤天报赉……。后本郡以五月五日祠临东城门上，令小童洁服舞之。其后子孙蕃盛，播于岭徼（音缴，边界也），世以为阴德所致。祀乡贤。” 　　陈临是东汉顺帝（126年——144年）时人，距今已1800多年。从这位古代香山重要人物的事迹看，他青少年已能“奋志不同蛮俗”，专心攻读圣贤书，这应当同他的父辈长期以来循循善诱、谆谆教诲密切相关。由此可见，陈临一家在香山定居，并非陈临这一代人的事，而是他的父辈乃至祖辈的事。又看陈临从“奋志”攻读到“郡举孝廉” ，也绝非一人面壁、一朝一夕所能奏效，而必然是左邻右里、良师益友、同窗共砚、互励互勉的结果。可见当时香山岛上的读书人和中原夏族人，已有一定数量，陈临只是众多门第、若干望族中的一名佼佼者而已。