胡德广的孙子胡宗寅，生于咸淳丙寅年（1266），字德和，号双峰，天资聪慧，为南宋国子监贡生。元初，授建德路桐庐教谕，然胡宗寅拒不仕元，曰：“余宋人也，祖父德广与祖母同殉国难，恨不同死，今苟延性命者亦以草莽之臣，有黄冠归故乡之思乎？”他决定在西宅鳌山之上、鳌潭之畔建关帝庙，隐扬祖父忠义之举。因阁居鳌头，婺星中天，阁名“鳌天”，并植浑柏与罗汉松昭示裔孙：“我族忠义，当如云长；德茂松柏，万古长青。”胡宗寅还倚鳌天阁建书屋，教导子孙胸怀家国，续扬忠义。

　　1278年初，元军攻克东阳县城不久，下令在李宅西溪审讯胡家亲属，几位胡家子孙被杀。胡宗寅等人为不忘祖辈抗元之举，在当年受审之地出资建“审胡桥”，即今天的“省吾桥”。清康熙五十四年（1715），胡氏裔孙又在西宅村上宅自然村营建“绳武堂”，续扬忠义家风。

　　清嘉庆年间，胡氏修葺了鳌天阁。宁海教谕卢标书题匾“鳌天”，乡贤楼上层撰文以记，称“鳌天忠义之地”。裔孙胡基捷有诗云：“杰阁镇苕尧，登临四望遥。溪声流日夜，鳌势倚云霄。松柏一庭绿，峰峦万古朝。凭栏欣赏久，不觉绝尘嚣。”裔孙衢州府教谕胡联元作《鳌天阁》，更为气韵高古：“鳌峰顶上鳌天阁，削立太虚气森索。日高东海卓三峰，风迅西流汹孤壑。蹑足汀洲揽八荒，云窗月窦天开张。拍肩把抉跨双鹤，不道仙乡即故乡。”