南宋灭亡后，翁森立志不再做官，隐居教授。元至元年间，建安洲书院于县东南二十五里得崇教里（翁的居所），以朱熹白鹿洞学规为训，坚持以儒术教化乡人。从学者先后达八百多人。元代废科举，乡里人甚少攻读，学风日下，本县地处穷僻，文化尤其日衰，经翁森的力挽，耕读之风又“彬彬称盛”。翰林学士陈刚中曾为之作《安洲乡学记》。至元二十四年（1287），道士翁道全于县东南三十五里建葆真书院，翁森为之作记，所著有《一瓢稿》。内《四时读书乐》一文，脍炙人口，被选编入民国时期的初中国文课本。墓在下支村下翁山。清道光十四年（1888）秀才王玉、王鹤年重修，程章作碑记。

书院规模

据《翁氏宗谱》卷之四《行第》所载：“（森）建乡学以淑教子弟，乃构书舍三十楹，安教近远异邑诸生”。这指的是他在至元年间（1271-1294）于县东南二十五里的自家居所创办安洲书院一事。他取“朱文公（朱熹）白鹿洞学规以为训”办学并亲自讲学授徒，先后“从学者达八百多人”。他学识渊博、治学严谨、办学有方，所办的安洲书院校容美、学风好，生气勃勃、书声琅琅。他的好友陈刚中（临海人，官至翰林待制）奉使西川后回来，造访了他的书院，作了《安洲乡学记》，对书院的运作状况有真实的记载：“踵其藩，其植秩然，升其著，其琴琅然，履其奥，其籍秩然。既而诸生鱼贯以登，逢衣大带，俯伏罄折，其容肃然，其气充然，退而弦诵之声隐隐若金石然”。

有名学子

安洲书院的莘莘学子，有许多来自邻县。有据可考的如：周润祖（临海人，学者，书法家）、杨同翁（临海人，学者，诗人，曾授饶州慈湖书院山长）、项炯（临海人，学者，诗人，项斯第十三世孙）、陶德生（临海人，学者，诗人）等等。这些人皆学识渊博、品行高洁，在社会广有声誉，但受其师的影响，许多人隐居不仕。

教育有方

翁森的嫡孙翁复吉，为翁的长子得舆之子，是翁森46岁时出生的，他是至正辛卯年的乡贡进士，于次年春会试（元代于仁宗皇庆二年恢复科举），以诗经科考得天下第一名，后授黄岩判官。复吉亲受过祖父教导，研读祖父诗文，学成名就，诗风极类祖父。

《四时读书乐》一文，说的都是读书“四宜”——四时皆宜读书，而读书皆得其乐，出处即为仙居人翁森所作的《四时读书乐》：山光照槛水绕廊，舞雩归咏春风香。好鸟枝头亦朋友，落花水面皆文章。蹉跎莫遣韶光老，人生惟有读书好。读书之乐乐何如，绿满窗前草不除。（春）新竹压檐桑四围，小斋幽敞明朱曦。昼长吟罢蝉鸣树，夜深烬落萤入帏。北窗高卧羲皇侣，只因素稔读书趣。读书之乐乐无穷，瑶琴一曲来熏风。（夏）昨夜庭前叶有声，篱豆花开蟋蟀鸣。不觉商意满林薄，萧然万籁涵虚情。近床赖有短檠在，及此读书功更倍。读书之乐乐陶陶，起弄明月霜天高。（秋）木落水尽千崖枯，迥然吾亦见真吾。坐对韦编灯动壁，高歌夜半雪压庐。地炉茶鼎烹活火，一清足称读书者。读书之乐何处寻，数点梅花天地心。（冬）翁森提倡的读书是乐读。