关于四大书院，最先提出的是范成大。范成大是南宋著名诗人，做过参知政事，《宋史》上说他“素有文名，尤工于诗”，作为一个以辞赋名世的儒士，对书院格外感兴趣。范成大游衡山，瞻仰石鼓书院，后来写成《骖鸾录•衡山记》，其中说：“天下书院四：徂徕，金山，岳麓，石鼓”这是目前可见史料中关于四大书院的最早说法。
第二个提到四书院的是吕祖谦。朱熹修复白鹿洞书院院舍时，为纪其事，请吕祖谦为作《白鹿洞书院记》。受朋友之托，又同为讲学之人，提起四大书院的说法：“海内向平，文风日起，儒先往往依山林，即闲旷以讲授。大师多至数十人。嵩阳、岳麓、睢阳及是洞尤著，天下所谓四书院者也。”
到了元代的马端临，他编纂的《文献通考》，把白鹿洞书院、石鼓书院、应天府书院、岳麓书院称为“天下四书院”，各取范成大和吕祖谦所提书院的两所。并且还给出了理由：嵩阳书院和茅山书院虽然兴起较早，但后来衰微，不过对徂徕书院，他并没有给出理由。到明代，全祖望又将天下四大书院分为北宋四大书院和南宋四大书院，以嵩阳、睢阳、岳麓、白鹿洞为北宋四大书院，以岳麓书院、白鹿洞书院、丽泽书院和象山书院为南宋四大书院。这是又一种方式的折衷主义，不过虽然是折衷，其中也自有道理。
所以关于四大书院的说法很多，但是不管如何变化，一定包含岳麓书院。
中国古代四大书院分别是，河南省的应天书院、湖南省的岳麓书院、河南省的嵩阳书院和江西省白鹿洞书院，培育出了无数的英才。
应天书院、岳麓书院、白鹿洞书院、嵩阳书院“四大书院”指应天府书院（今河南商丘睢阳区商丘古城南湖畔）、岳麓书院（今湖南长沙岳麓区岳麓山）、白鹿洞书院（今江西九江庐山市庐山）三大书院无争议。嵩阳书院（今河南郑州登封市嵩山）与石鼓书院（湖南衡阳石鼓区石鼓山）有争议。1998年4月29日，国家邮政局在商丘市睢阳区举办了“四大书院”邮票首发仪式，邮票所选书院为“应天书院、岳麓书院、白鹿洞书院、嵩阳书院”。据说是由于石鼓书院毁于日军战火，来石鼓书院实地考察的人只见山石、不见书院，而后改选河南登封嵩阳书院。
