謝氏家譜里記載，其先祖自宋代晚期由江西南昌遷入該地建宅立村，聚族而居。曾祖父謝仲和，祖父謝永昌，父親謝必賢。謝必賢為官不求發(fā)財(cái)，清正廉潔聞名于朝廷上下。在謝必賢的教導(dǎo)熏陶下，兩個(gè)兒子謝文祥、謝文善都舉于鄉(xiāng)，謝文祥更是青出于藍(lán)而勝于藍(lán)。

成化二年（1466年），謝文祥由進(jìn)士授翰林庶吉士，任刑科給事中。明代的刑科給事中主要是輔助皇帝處理政務(wù),并監(jiān)察六部,糾彈官吏。謝文祥秉性嚴(yán)正剛直，崇尚氣節(jié)，屢次上書言政，很快升為陜西道監(jiān)察御史。謝文祥擔(dān)任監(jiān)察御史時(shí)，謹(jǐn)記父親教導(dǎo)，持身中正，不趨炎附勢，盡心為君分憂、為國效力，遇到不正確、不合理的事情都會(huì)奮不顧身地站出來,在任期間曾彈劾不少官員，也得罪了不少人。當(dāng)時(shí)，他和羅倫、莊昶三人，“性皆骨鯁”，這三位“硬骨頭”的朝廷官員，世號“三剛”。

謝文祥家教嚴(yán)格，對后代要求很高。謝文祥長子謝咨是成化二十二年（1486）進(jìn)士，官至重慶司馬。三子謝訥，字尚敏，號一齊，弘治十八年(1505)考中進(jìn)士，開始授戶科給事中，奉旨調(diào)查兩廣糧食儲(chǔ)備，執(zhí)法公允，不開后門。后升至刑部都給事中。當(dāng)時(shí)正逢劉瑾專權(quán)。劉瑾乃明朝正德年間宦官，本姓談，六歲時(shí)被太監(jiān)劉順收養(yǎng)，改姓劉，入宮當(dāng)了宦官，弘治年間犯罪被赦免后侍奉朱厚照，以進(jìn)獻(xiàn)飛禽走獸來博取明武宗的歡心，得以數(shù)次升遷，官拜司禮監(jiān)掌印太監(jiān)。劉瑾把持朝政時(shí)，黨羽遍天下，排除異己殆盡，賄賂公行，征斂苛暴，人民處于水深火熱之中，滿朝文武敢怒不敢言，只有謝訥時(shí)刻銘記父親謝文祥持身中正、為國除惡的教誨，毅然第一個(gè)上《請誅劉瑾疏》，揭發(fā)劉瑾的罪行。除了《請誅劉瑾疏》，謝訥諫章甚多，比較重要的還有《自劾不職乞除奸黨疏》《請?jiān)O(shè)兵憲疏》等，為國進(jìn)言，殫精竭慮。

漢代以來，以直言進(jìn)諫、忠心事主聞名于世的耒陽籍官員，最早有西漢的谷永，其后有唐代的谷那律，再就是謝文祥，而謝文祥剛直的氣節(jié)和不怕死的秉性影響了他的兒子謝訥，以及與謝訥同輩的胡文璧。多年后，當(dāng)胡文璧也成為一名監(jiān)察御史時(shí)，胡文璧請求謝文祥父子與他一起在耒陽古城修建了一座“澄清坊”，以寄托他們的“澄清天下之志”。