宝祐年间，内侍董宋臣招权纳贿，无恶不作，并与时任宰相的贾似道勾结，巧取豪夺，欺压百姓，孙德之深恶痛绝，时不时与文天祥一诉衷肠。宝祐七年（1259），文天祥上书朝廷，乞斩董宋臣，因贾似道干涉而没有成功并遭贬斥。孙德之不愿与奸臣恶吏同朝为伍，请辞归隐林泉。被奸臣排挤的文天祥数次到孙宅拜访，留下诸多墨宝，还为孙氏先祖画像写过像跋。

　　永宁孙氏家谱中记有《文昌高阁》：“秘书府君率昆从于祠堂之侧建楼一座（其址在今孙宅村内自来水塔的西边），祀梓橦神及先贤许氏二孝文，文山先生天祥书其匾曰文昌楼，复为之记。”宋咸淳四年（1268），孙氏家塾或久已不存，孙德之率领族中兄弟在祠堂边上建文昌楼，供奉文昌帝君以及当地西晋时的“许孝子”许孜，作为教育族中子弟的场所。文天祥为之题写匾额“文昌楼”，又作《文昌楼记》。

　　在此记中，文天祥直申教育旨要：“故文昌而天下治，文衰则国家危。秦皇焚书坑儒而身死人手，汉高祀尼父以培道脉而国运长，隋室罢遣生徒而国因以丧，唐增学校而国随以兴。”以四大朝代对教育的态度阐明教育对国运的直接影响，也间接指明了文昌楼的教化功能。“今有嘉夫孙道子，入其书阁，见其立言，真实奥妙之论，后学推文场元帅宜矣。又复谈经讲义以授子姓及四方来学之士。噫，盛矣哉，犹未也！”此语则可证明孙德之确实在此楼教授族中子弟以及前来求学的外地学子。

　　但文天祥最为赞赏的还是孙德之的“节义”。在《文昌楼记》中，文天祥提出：“有文章而无节义，则虽口吐珠玑笔胜锦绣，尽是虚文，曷足以传世哉？”孙德之的文章诚如文天祥所言，既有珠玑锦绣，又有道德节义，这在他的《听泉楼记》里就可以得证。文天祥盛赞孙德之：“避权奸，归林壑，游心简编，其节义之征与？”认为他不愿在朝堂上同流合污，回乡著书育人，正是坚守节义的表现。他还道出了孙德之建文昌楼的真正目的，“设不幸而世道晦暝，所以扶社稷之将倾，辟乾坤之再造，当于此乎求之”——孙德之这是在为国育才、为民蓄才。“状君之文学也，望后人以文章高天下，因书楼而广其说；状君之节义也，望后人以忠烈振天下，因并及之。”这才是孙德之的教育宗旨及对后学的理想人设：融锦绣文章与高风亮节于一体。

　　在《文昌楼记》问世后的第七个年头，公元1275年，元军大举南侵，文天祥散尽家财，组织义军奋勇抵抗，3年后被俘，于1283年从容赴死，以身殉节。

　　这对忘年交逝后数年，孙氏祠堂及文昌楼年久倾圮，所幸文天祥所题匾额以及名人贤士为文昌楼所作的题咏诗歌犹存。明代成化乙未年（1475），孙氏族人重建祠堂与文昌楼，“极其高敞”，但即将竣工时，毁于大风。从此，斯楼不复再见，唯余佳构《文昌楼记》传诵至今！