胡辑的孙子胡德广自幼习文练武,能诗善赋,其志不凡,曾有言:“孰若致身于君,立功于民,而垂名不朽也!”
嘉熙年间,胡德广考取乡贡后一直未仕。他曾游历乌竺岭,见“石神”“石将”而作诗《石将军》:“将军威勇住山头,独战西风几度秋。叠嶂万重攒棨戟,闲云一片作兜鍪。叱羊不作初平侣,射虎宁为李广俦。纵有惊尘飞不到,忠心千古障南州。”诗中表达出国难当头之际,愿像李广将军那样请缨杀敌报国之志。
1276年,元军攻取南宋都城临安,时局混乱,盗贼蜂起。胡德广招募400多名乡丁,保护一方平安,郡县举功后,朝廷特授胡德广为迪功郎,授台州仙居县尉。但他还来不及走马上任,就遇元军渡江进攻婺州,胡德广就在东阳继续招募义兵,日夜训练,随时迎战。
1277年,元大将伯颜率部攻入浙江。农历九月,伯颜位于东线台州的部属从玉山攻入东阳,与西线婺州所部合围取城,东阳县令陈天瑞弃城逃跑,朝廷一时无法抽调兵力支援。胡德广即派孙子函呈婺州太守罗堉,请缨抗元,罗堉命胡德广赴玉山与元军交战。
东阳玉山山峦起伏,地形复杂,胡德广部据其险,阻其道。从农历九月廿五日开始,胡德广部与元军正面交锋,顽强抗击11天,元军多次强攻未能突破,死伤无数,遂买通玉山乡人带路从间道登山,令胡德广部腹背受敌,伤亡严重。胡德广也于农历十月初七日下午英勇牺牲,时年74岁。夫人朱处昌闻讯后随之自尽。后雍正帝下诏将胡德广入庙享祀,供奉于东阳孔庙忠义堂内。
胡德广的弟弟胡德绶时任江西饶州刺史,因抗元不成,愤愤不平。兄长战死后,他遂挂冠为民,改名胡德缓,归乡隐居于永康杜庆山之源。