肇庆和高要，古属端州，以产端砚著名。明、清两代，书院颇多，计有端溪书院、铎阳书院、濂溪书院、星岩书院、桂溪书院、三都书院、沙溪书院、砚溪书院、蒿台书院、九曲书院等。

端溪书院的规模最大，在县学宫西(鼓铸局)，万寿宫是其故址，为雍正十年(1732年)总督郝玉麟所倡建，以后有所扩充。前座为大门，第二进为广德堂，第三进为宣教堂，此外有东斋、西斋两座，监院一座，书库一座。此外还有荷池、爱莲池等。第四进是景贤阁，为师生祭祀前贤、圣哲之所。在院舍、设备各方面，成为端州有名的书院。

乾隆以后，知县吴绳年曾加以扩建。端溪书院属官办性质，由政府拨款办理。自创办以后，重视延聘名师讲学。全谢山、刘彬华、朱一新等，先后担任讲席。全谢山是著名学者，深得生徒爱戴。他的教学宗旨，定为“正趋向，厉课程，习词章，戒习气”，体现出德育与智育并重。由于他有功于端溪书院，他死后在景贤阁前建有“全先生祠”，作为永久纪念。