清康熙二十四年(1685)，浙江巡抚赵士麟在孤山山巅东北隅辟建，1999年按清式书院建筑风格对它进行了重修。主体建筑由前后两进厅堂和左右两厢房构成四合院，院西侧另辟园林。书院前一进厅堂题额“瀛屿芬馨，书院后进厅堂题额“秀萃明湖，堂内展出孤山历代名胜图，包括平湖秋月、孤山霁雪、清帝西湖行宫八景等，串联成一幅“文化的孤山长卷。