鹅湖书院旧名“四贤祠”，又称“文宗书院”。南宋淳熙二年(公元1175年)，当时著名的理学家朱熹、吕祖谦、陆九渊、陆九龄等人在此聚会讲学，后人在他们聚会的地方建祠纪念，因名“四贤祠”。七十多年后，即至南宋淳祐十年(公元1250年)，便改名为“文宗书院”。至元代皇庆二年(公元1313年)，又增建“会元堂”待到明代景泰年间，又重修扩建，并正式定名“鹅湖书院”。这所书院，自南宋至清代，八百多年来，几遭兵毁，又几次重建。其中尤以清代康熙五十六年(公元1717年)整修和扩建工程规模最大：新筑山门、牌坊、大堂、浮池、拱桥、碑亭、御书楼；两侧更修建厢房数十间，作为士子读书之所。康熙皇帝还为御书楼题字作对，门额题为“穷理居敬”，联语为“章岩月朗中天镜，石井波分太极泉。”
鹅湖书院之所以以“鹅湖”命名，是因为该地原有鹅湖寺的缘故。鹅湖寺创建于唐代大历年间(公元766—779年)，初名仁寿院，后因山名而改称鹅湖寺。因此，书院由寺而得名，寺又由山而得名。然而，鹅湖山最早原名荷湖山。传说山上原有一湖，多生荷，夏日荷花盛开，故名荷湖。相传东晋时，荷湖山上居住着一户龚姓人家，畜有红鹅一对，常年在荷湖里觅食嬉水，后来育子数百只，这对红鹅便带着这批小鹅腾云飞去，终不复返。虽然鹅去湖空，但人们却认为是仙鹅升天，鹅湖之名便因此而在。
鹅湖书院之所以誉满江南，乃至闻名全国，主要是因为宋代著名理学家朱熹、陆九渊等曾在这里讲过学，进行过学术辩论之故。南宋淳熙二年(公元1175年)，吕祖谦因鉴于朱熹、陆九渊两派学说论点不同，常引起争论，故而发起约会，邀请朱、陆两家集会于鹅湖寺。当时，朱熹和陆九渊、陆九龄兄弟皆应邀赴约。在这里，发生了朱、陆两派学说问的第一次面对面的激烈争论。争论的焦点是关于认识论的问题朱烹主张“泛观博览，而后为之约”；防九渊则主张“先发明人之本心，而后使之博览”。这就是朱、陆两派的分歧点。朱熹认为陆学太简易；陆九渊则认为朱学太支离。这次争论，就是哲学史上著名的“鹅湖之会”。由于朱熹持客观唯心主义观点，陆九渊持主观唯心主义观点，因此，这次乃是唯心主义阵营内部两种不同流派之间的争论。争论的实质，都是为了互争正宗教主地位。但是，这次“鹅湖之会”并没有解决他们两派学说之间的分歧，故以后还有更加激烈的关于世界观问题的争论。尽管如此，“鹅湖之会”对当时学术界却有很大的影响；鹅湖书院之所以能几百年来永留胜迹，誉满江南，正与朱、陆诸子的“鹅湖之会”有关。
鹅湖胜迹，名闻天下，古往今来，吸引了不少诗人墨客、一代名流前来寻踪探胜。宋代的陆游、辛弃疾，明代的杨廷麟，清代的蒋土铨等，都曾有鹅湖之行，并留下了他们的文词和诗篇。
建国前，鹅湖书院遭到严重破坏：书院左侧的宋代宝塔和碑刻，被拆毁损坏；正殿建筑也被烧毁。建国后，党和政府对此重加修整。今日的鹅湖书院，保留着清代康熙年间的规模。从现存的建筑物和一些碑刻题记看来，尤以清代道光二十七年(公元1847年)最后一次修葺时的遗迹保存最多。至今牌坊、泮池、后殿、厢房等建筑保留尚完好；泮池、后殿、厢房等建筑保留尚完好；泮池两侧的厢房内，尚存明、清两代古碑十三块，是研究这座书院历史的珍贵资料。
