清乾隆五年（1740），知县李景厚倡建榄山义学于大榄宝莲社；后迁蓝田坊，改名榄山书院。乾隆十四年（1749）知县暴煜会同乡人何绍禹等，组保八股（何云显（九郎）一股，何世联（十郎）二股，李实（李宁泰）一股半，麦承祖（诗礼麦）一股，卫所（即三卫所）一股，五益同（佑贤书院）一股，六姓（诉合书院）半股）。 　　嘉庆二十年（1815）知县马德滋为该书院筹措经费，乃捐薪倡膏火费，并置膏火由芙蓉沙十顷，随又由石岐丰山书院拨磨刀角田五顷二十七亩，连同乾隆二十一年（1756）知县彭科原拨给高沙，织麻沙，第五埒等的三处鸭埠，该书院经费，于以确实。 　　榄山书院每年聘请科名中品学兼优之士掌教，称为山长（老师），集乡中士子于一堂，讲授经史，研读诗词。山长束修，每年白银三百两。自乾隆迄清末先后掌教该院的有以下诸人：姚莹，字石甫，桐城人，姚鼐从孙，嘉庆间进士，留心经世之学，著书十余种，有《游榄山记》。冯奉初，字默斋，顺德人，清进士；高士钊，字酉山，南海人清进士；伍彭年，字遐斋，大榄人，清进士；何太清，字澄轩，顺德人，清翰林；黎XX，字朴园，爵里未详；苏X洪，字翔海，番禺人，清举人；李松？，字XX，爵里未详，卒于书院，葬飞驼岗西鼠内之原，书院校田数亩作祭田；谭时珍，字XX，南海人，清举人：董起庚，字一夔，番禺人，清举人；唐元汉，字重颐，新会人，清举人；高子元，字XX，爵里未详。 　　光绪三十一年（1905），废止科举考试，榄山书院于翌年（1906）改名为榄山第一高等小学堂，以后又由乡人何作照、李翰芬、何国璋等，将原日榄山书院，梯云义学、宏文义学原有的学产，一并拨作经费，改名为“榄山学校”，以何作权（字伯柳，清举人）为校长。 　　民国十三年（1924），扩办为“香山县第三区区立初级中学校”，首任校长的依次（交接年月，无从记考）如下：何作让，字季吴，两广方言学堂毕业；何启煌，字卫门，广东法政学堂毕业，律师；麦宇楷，字武宪，广东高等师范学堂毕业；李家献，字以行，国立中山大学法学士；何作让（复任）；李X洸，字履庵，国立中山大学文学士；张卓堃，字朋南，美国康南尔大学农科硕士。 　　民国廿九年（1940）三月，太平洋战争发生，日军将美国教会设立美理学校查封，翌年，区立中学即迁到该校上课，原校则改办难童院，当时的校长依次为：陈泰阶，以字行，国立中山大学农业专科毕业；刘开豫，字立夫，私立岭南大学修业；李浩琛，字伯川，广东法政学堂毕业、律师。 　　民国卅四年（1945）九月日寇投降后，“美理”由美国教会接收，而原日之榄山书院，已残破不堪，且地方狭窄，不敷应用，由镇人屈仁则、谢云龙、李空藻等，发起买受罗涌经拆屋地六亩余，为创建新校基地。并由港商董仲伟兄弟捐建欢堂图书馆一座，李文祺、何希圣合捐办公室一座，袁带、屈仁则、谢云龙、巢添林、梁玉臣、冯俭生、应雁亭、梁永光、麦炳、李清宇、何仰镐等各捐校舍一座；其它建筑费用均由海内外乡人捐出。校舍陆续建成后，仍沿用“中山县第三区区立初级中学”校名，迁入新校开课。校长依次为：李家藻，以字行，上海复旦大学文学士；李炳垣，字作屏，两广言书院毕业。 　　民国卅八年（1949）十月，小榄解放，当时的教长为：梁庆文，私立岭南大学商学士。在职不久，由黄富泉续任。 　　1956年，该校易名为“中山县小榄中学”，增办高中。校长依次为：黄富泉；朱兆松；萧凤山；黄联安；麦学璇。 　　自明末以来，小榄虽有不少科名人物，但以乾隆至清末最为鼎盛，民国后亦涌现不少高级知识分子专科人员，他们绝大部份是在榄山书院或后来的三区初级中学读过书的，可以说，榄山书院是造就小榄人才的阶梯。解放后增办高中，使莘莘学子，离校后便可报考大专院校，将可造就更多人材。最近关心家乡教育的港澳同胞，捐款扩建校舍，加强设备，今后该校在教育战线上将起更积级作用。