胡缵宗任检讨后，参与编纂了《世宗实录》。正德五年(1510)，因刘瑾谋反被诛，他受到了牵连，被谪为嘉定州(今四川乐山县)判官。正德八年(1513)，升瞳川州(今四川三台县)知州，“礼民爱士，著于一时”。正德十年(1515)，召入南京户部湖广清吏司员外郎，后升为郎中。正德十四年(1519)，调南京吏部验封吏司郎中，接着出任安庆府(今安微安庆市)知府。在安庆3年多的时间里，他大力恢复因宁王朱宸濠叛乱遭受破坏的安庆经济，“抚绥安辑，民以大苏”，又“开吴塘乌石堰，溉民田”，成绩显著。世宗嘉靖二年(1523)，他调任苏州知府。在离开安庆时，老百姓恋恋不舍，“攀辕垂涕而遏之者以万计”，很多人乘船数百艘一直把他送到京口(今镇江)。并于文庙立“去思碑”。在苏州的4年，胡缵宗兴学馆，整吏治，减民负，时人评议“廉洁辨治，名与况钟颉頏”，皇帝勅封为“中宪大夫”。离任后，苏州士人立“吴郡守天水胡公去思碑”，今碑尚存苏州文庙。嘉靖六年(1527)，升山东布政使司左政参，后调任浙江、山西布政使司左参政。他同样“至能称职”，政绩颇显。嘉靖十五年(1536)，升河南左布政使司。同年十二月，升山东巡抚右副都御史。在山东时，鲁王横恣，他上疏弹劾，并修建莱河，便民灌溉。嘉靖十七年(1538)，调总理河道，开考城(今河南兰考县)黄河支流，以减轻归德(今河南商丘县)、雎州(今河南雎县)的水患。嘉靖十八年(1539)三月，任河南巡抚右副都御史。河南遭了饥荒，他向朝廷请得救灾银款20万两救济灾民。十二月，因官署失火事件而引咎辞职。

     胡缵宗罢官归里后，“开阁著书”，集中精力从事写作。他文学造诣深，善诗歌，导源于六经，肆以秦汉。著书甚富，有《鸟鼠山人集》18卷，《拟汉乐府》2卷、《拟古乐府》2卷、《胡氏诗识》2卷、《愿学编》2卷、《近取编》2卷、《河嵩集》2卷、《归田集》2卷。《春秋本义》12卷、《议礼集注》25卷、《安庆府志》《苏州府志》《巩郡记》《秦州志》《秦安志》《汉中府志》《羲台志》。此外，还编有《秦汉文》《唐雅》《雍音》及《胡氏家谱》等。胡缀宗还擅长书法，师法颜真卿，书体刚健遒劲，酣畅淋漓，名山名寺多见其墨迹。天水伏羲庙门有“与天地准”，江苏镇江焦山迎客照壁上镶嵌有“海不扬波”，苏州虎丘有篆书“千人坐”，山东济南有“豹突泉”，曲阜孔庙下面第一坊至今悬挂着他书写的巨匾“金声玉振”。他的墨迹代表木刻板《早朝诗》七律四首，民间至今流传颇广。其诗歌讽喻朝廷，吟民疾苦，激昂悲壮，自然不俗，颇近秦声。他的确是明代有影响的人物。正如长安人何栋为他作的《墓志铭》中所说的：“经济弘伟，功业垂于当年；学海渊涵，著作传于今日。”嘉靖三十九年(1560)九月初三日卒于家中，享年81岁。