胡安國一生以圣人為目標，立身嚴謹，強學力行，不媚權貴。他從走入官場的第一站——任太學博士起，就沒拜訪過權勢之家。

他對名利看得很淡，加之兩宋之間皇帝昏庸，奸臣當道，官場黑暗，在入仕之初便萌生退意。

政和二年(1112)，由于母親去世，提舉成都學事的胡安國離職移往江東，不久其父也去世了。胡安國對子弟說：“我以前是為父母而進入仕途的，現在雙親既去，我縱有萬鐘俸祿，又有何用呢？”于是，胡安國稱病不再為官，并在雙親墓旁筑屋而居，打算農耕一生。

宣和末年(1125)，李彌大、吳敏、譚世勣三人聯名舉薦胡安國，拜其為屯田郎，胡安國堅辭不就；靖康元年（1126），除太常少卿，辭，除起居郎，又辭；建炎三年(1129)，樞密使張浚薦胡安國可大用，高宗再拜其為給事中，胡安國起程到池州，聽說皇上駕幸吳、越，遂稱疾而返；紹興初年（1131），因為不愿與投降派朱勝非為伍，胡安國臥家不出；紹興五年(1135)，拜胡安國為徽猷閣待制、知永州，胡安國不愿赴任。他從登第到去世，在官40年，而實際在位不足6年。

但是看到國是日非，中原淪陷，黎民涂炭，胡安國就好像痛在自己身上。在多次遭遇罷官，多次推辭官職后，其愛國憂民之心益發堅定。每受君命，即置家事于不顧。“吾平生出處皆內斷于心，浮世利名如蠛蠓過前，何足道哉！”

胡安國在中書省一個月，每當上班，必有所論。有人對他說：“那些小事，何必去管它？”胡安國說：“大事無不起于細微，如果認為小事不必管，到它變為大事又不敢管，那就沒有管事的時候了。”

金人圍困都城時，胡安國已離朝，但他的兒子胡寅尚在城中。有人替他擔憂，他卻傷感地說：“圣上也在重圍之中，如今朝廷號令發不出來，卿大夫恨效忠無路，我能只惦記胡寅嗎？”

時人侯仲良言必稱二程，對其他人無所贊許，后來見到了胡安國，嘆曰：“吾以為志在天下，視不義富貴真如浮云者，二程先生而已，不意復有斯人也。”程門高足謝良佐說：“胡康侯如大冬嚴雪，百草萎死，而松柏挺然獨秀者也。”

紹興三年(1133)，辭去講席的胡安國來到南岳，買地筑室于紫云峰下。紹興五年(1135)，高宗下詔，對胡安國以經筵舊臣特別對待，并令其特別纂修所著《春秋傳》。胡安國在南岳5年不出山，傾其心力，終于著成博大精深的《春秋傳》30卷。書成上奏，宋高宗認為“深得圣人之旨”，命胡安國提舉太平觀，進寶文閣直學士，賜銀300兩，絹300匹。胡安國將賜款散與故鄉宗族及親屬。

為了纂修《春秋傳》，他不分寒暑，廢寢忘食，以致疾病日見加重，于紹興八年（1138）在南岳的書堂離世，享年65歲。皇帝下詔贈其四官，又增加喪葬金，賜田10頃撫恤遺孤，贈謚號“文定”，這是超乎尋常的禮遇。《春秋傳》后來被推崇為元明兩朝科舉取士的經義定本。明正統年間從祀孔廟。清康熙四十五年（1706），朝廷賜“霜松雪柏”匾額一方。