永宁孙氏于北宋太平兴国二年（977）从富春一带迁至虎鹿东山（今孙宅）。书院由永宁孙氏七世孙邦材（1112-1190）初创。北宋宣和五年（1123），孙邦材之父孙琛因为剿匪而牺牲。孙邦材的兄长孙邦实不甘贼寇逍遥法外，亲自赴京城向朝廷请兵，派出杨、胡二太尉带兵讨贼成功，为家族博得了“忠孝世家”的美誉，朝廷还追赠孙琛谥号“成忠”。孙邦实则被封为“忠孝进义校尉”，因在家族同辈中排行第二，又称为“二校尉”。

　　荡平了贼寇、追封了父亲，兄弟俩都想到了一个共同的问题：偌大的家族却无人在朝廷为官，实在难有安全感，教育族中子弟攻举子业之事迫在眉睫。两人一合计，决定创办家塾，并由孙邦材负责此事。谱载孙邦材“与长兄二校尉齐心协力，教子业儒，建立家塾，延聘永嘉白石钱公文子及四明端献沈公焕继主师席，自是家学日盛。”

　　孙氏家塾始办于何时？家谱没有记载，但可通过家谱中的信息推测：1123年，孙琛去世时，孙邦材仅11岁，孙邦实的次子孙镒出生刚一年。孙镒成年后“登乡荐，免解进士”，即参加乡试考中举人，不经州试就直接参加礼部举行的省试，得中进士，可见学识过人。以孙镒入塾年龄8岁推测，孙氏家塾初创时间大约在1130年，此时孙邦材18岁，正可挑起家塾管理重任。

　　如此而言，那么孙氏家塾的创建时间早于郭宅石洞等书院，是南宋时期东阳境内首批书院。市政协文史委编纂的《东阳书院》一书执行主编华柯介绍，孙氏初到永宁乡时定居于虎鹿镇孙宅村，村庄地处虎峰山脚；山上有座唐代咸通二年（1861）时建造的禅院资福寺，北宋宣和年间毁于火灾，孙邦实倡议并率族人重建，孙氏家塾后来搬入寺内，因此家塾又名虎峰书院。