建于明嘉靖24—26年（公元1546—1548年）间的仁山书院，位于邑城县署后面仁山上，即今中山纪念堂附近。乃知县邓迁所建，设课堂3间，后面有仕学台及凉亭1间，东面有香山士人发挥过作用，是仅次于学宫的官办学府，它存在约249年，至清靖嘉庆年圮，没有复修。 　　邓迁《赋仁山书院》诗云： [center]仙羊真气未全收，瀛岛高元足胜游。 丛桂盈盈金玉阙，扶桑历历凤麟洲。 海外烟霞还赤县，花间台榭亦丹邱。 江湖登眺朋徒共，北望京华万里楼。[/center] 　　　　　　　　　　　　　　　　　　　　　　　　　（见《香山县志·卷九》） 　　明正德5年（公元1510年）庚午科解元，15年庚辰科进士，嘉靖年间获封宫詹学士，岭南著名学者，世称泰泉先生的石岐人黄佐撰《仁山书院记》，原文如次： 　　晋安文岩邓君宰香山，政成无事，顾县署后坡坨翳奥草间，即所谓仁山也，？而登焉。四周幅员将三百余武，业为郑圃。谊而归之，乃与寮？？心游，目舒迥临千里。盖脉发于罗浮，施于黄山，入于海面，大洋三直里而遥为潭洲、为金星、为三洲，诸山棋帛海上；又十里为云亭、为张多澳；自东北逶迤而西，势夷而纡，又三里许。东为莲峰与城台武山对峙，中则斯山主焉。其南贵峰尖耸，高几十倍，然？仰拱揖，若共几席苍碧，四出翕然飞动其殆，胜地也。乎闻诸舆人曰：是宜构以稽经诹政者也。君韪焉。于是鸠工冬？，肇建书院。东西为二夹道，其一长二十有二丈，循后堂之东折北而达；其一长一十有七丈，循公堂之南抵西洞门而达。为堂三间，高二丈，深三丈二尺，而阔过之。由大门北入，循西阶门而升，则云霞草木霏布滋蔓者，入人怀袖毕萃。于前堂背筑基高二丈，构台三间，深三丈三尺，其阔如堂，扁曰仕学，则读书处也。山形益以完，盱眄益以广，岚蒸晖变，冥合万化，益以启潜潭之思。又自东阶门而入为丰乐园，其桁一十有二丈，其从十丈有奇。凡夹道台园，皆缭以垣，其周一百五十有二丈；形势高旷，土宜植物，松桧花竹丛栽其中，垂荫蔽芾，浩气自溜；轻风摇动，天籁互？；弦歌燕语，恍在宵汉。殆有不谋野而获，不风雩而乐者矣。是役也，资不官费，力不民烦，官师荐绅咸助成之。舆人诵曰：？莽弗鞠，仁山当复高台广堂，仁我无疆，益慨昔之遗，而庆今日之遭也。嗟乎，应龙作雨必蟠势以全其神，君子役智必燕息以全其性。公署游观之构，盖亦多矣，未有天作奇秀以待人者。夫登眺于翠微联合之间，与物为体，八荒我闼，可以识人矣。矧又仕不遗学毗民关政若斯之懿者乎。黄发青衫，番番？？，造予请记。载笔使镌用鸿厥，懿于永久。（录自《香山县志·古迹·廨宅》） 　　清嘉庆9年，香山知县彭麟撰《跋·仕学亭略》原文如次： 　　仕学者，明邑宰邓文岩所建仁山书院台名，黄文裕公为作记者也。公圮已久，后人于其地立亭，无扁识亦无碑记，不能考其日月，今亦圮。余即其旧基葺而新之，仍颜以仕学，以台为亭，聊志表章之志示乐。嘉庆丙寅阳月朔日。 　　注：邓迁字于乔，号文岩。福建晋安人。嘉靖丙午年举人，选授香山知县，在任３年。旋升授嘉兴府府判。 　　附录邑人赋仁山书院诗二首： 　　嘉靖辛卯举人郑之藩《仁山书院为邓侯赋》： 　　　[center]高跋丹崖淑气收，宦游犹胜赤松游。 　　　飞轩隐结朝诸岛，曲槛纡回带远洲。 　　　中镇七星为泰岳，南宾五岭作蓬丘。 　　　公余便读三纲领，不愧不称仕学楼。[/center] 　　之藩，莲塘街人。成化十年甲子科第三名举人，祀乡贤郑鸿孙。 　　明末例贡生，广西布政司检校，莲塘人。郑孔生《仁山书院为邓候赋》： [center]长空渺渺瘴烟收，百尺登临必壮游。 月影夜凉连北斗，奎光秋霁落南州。 碧梧至止丹山凤，紫气茏葱绿树丘。 一枕醉余生八翼，飘然飞去绕龙楼。[/center] 　　　　　　　　　　　　　　　　　　　　　　　　　（录自《香山诗略》上集）