谷文昌對待子女一貫嚴格，甚至顯得有些“不近人情”。他的5個子女在工作、生活上沒有得到過任何“特殊照顧”，甚至政策允許的事，他也不為子女“爭取”。1976年，谷文昌的小兒子谷豫東高中畢業，最大的愿望是到工廠當一名工人。當時谷文昌夫婦已經是花甲之年，子女都不在身邊，按照政策可以留一個子女在身邊工作。谷豫東向時任地區革委會副主任的谷文昌提出留在父母身邊，谷文昌沉默許久，還是勸他下鄉接受貧下中農再教育。谷文昌說：“我是領導干部，不能向組織開口給自己孩子安排工作，不然以后工作怎么做呢？”

谷豫東說：“遇到工作調動、個人待遇提升等關口，我們也曾多次向父親‘求助’，但他的回答永遠是‘要靠自己的本事吃飯，不能靠著我的關系向組織提要求、要待遇’。”

“人很老實，說話輕言細語，穿著打補丁的褲子，能吃苦，下鄉睡地鋪，沒有一丁點兒千金小姐的脾氣。”談起昔日的同事、谷文昌的大女兒谷哲慧，東山縣銅陵鎮71歲的老人陳炳文仍然印象深刻。

1963年，谷哲慧高中畢業進了縣財政科當臨時工。陳炳文說：“幾個月后才知道她是縣委書記的女兒，我們都以為她在臨時工崗位只是鍛煉鍛煉，很快就會轉正、提干，沒想到從臨時工轉為正式工，她用了15年。”

1964年，谷文昌調到福州任林業廳副廳長，有關部門提出要將谷哲慧轉為正式工，隨谷文昌一起去省城。谷文昌堅決不同意，他說：“組織上調的是我，不是我女兒。”此后，谷哲慧還有多次機會轉正，都被谷文昌“叫停”，直到1979年才轉正。谷文昌身邊的工作人員潘進福、朱財茂說：“谷書記公私分明，從沒有利用手中的權力為家人牟利，他的5個孩子都是自食其力，沒有沾過父親的光，在平凡的崗位上工作了一輩子。”

目前，除了小兒子谷豫東在漳州市中山公園服務中心擔任一名普通員工，谷文昌的其他4個子女都已退休：大女兒谷哲慧、三女兒谷哲芬到退休時都只是副主任科員，大兒子谷豫閩退休時是廈門檢驗檢疫局調研員，四女兒谷哲英退休時是漳州市工商局的一般職工。

谷哲芬說：“父親很少說教，也沒留下什么家書、家訓，他的教育是身體力行展現的。”

谷文昌和妻子史英萍都是出身貧苦農家，在黨的培養下成為國家干部。他們一生都保持著農家子弟的本色，簡樸持家，不看重物質上的享受。

谷豫東說：“父母一輩子清貧、樸素，家里從沒置辦過什么值錢的家具，從河南到東山、福州、寧化、漳州，父母的行囊永遠都只是兩個樟木箱子，里面是一些簡單的工作和生活用品。”

谷豫東在東山工作時，家里甚至沒有飯桌，吃飯就在縣政府大院宿舍露天的石桌上，遇到下雨，家里人只能端著碗在屋檐下吃飯。在子女的記憶中，小時候一周見不到父親幾次。谷哲芬說：“早上起床時他已經出門了，晚上睡覺時還沒回來，有時一連好幾天都在鄉下。”

解放初期東山縣風沙肆虐，氣候惡劣，谷文昌全身心撲在了帶領干部群眾治理風沙上。谷文昌的警衛員潘進程說：“谷書記起早摸黑，廢寢忘食，下鄉時和群眾同吃、同住、同勞動，吃的是喂豬的厚葉菜，晚上睡在群眾家里，在地板上鋪上稻草就打地鋪，有時一住就是好幾天。”

谷豫東說：“有時父親好不容易在家，仍然不時有群眾找上門來反映困難，父親總是熱情接待，還經常留困難群眾吃飯。沒有多余口糧，家人就得餓肚子，有時看著群眾吃飯，我們幾個孩子都會流口水。”

受谷文昌影響，他的子女從來都把自己看作千千萬萬勞動人民中的一員，吃苦耐勞，生活簡樸，真誠待人。

東山陳城鎮72歲村民陳志英是谷豫閩的初中同學，幾十年來，兩位老同學一直保持交往。他說：“豫閩待人真誠，心地善良，一生樸素、節儉，到老了住的房子也不大，家里也沒什么值錢的家具。”

谷文昌的愛人史英萍是一名南下干部，解放初和谷文昌一起來到東山，當時是縣民政科科長，1952年轉薪時定為行政18級，在此后30多年的工作中，她的職務、工資級別都沒有提升過。谷文昌去世后，史英萍依然過著清貧的生活，省吃儉用之余熱心公益。7年多時間里，她從微薄的離休金中擠出兩萬元資助了18位特困大學生。

在東山，清明時節“先祭谷公，再祭祖宗”已經成為風俗。谷文昌紀念館工作人員林秋華告訴記者，清明前后，來這里祭拜谷文昌的群眾平均每天在百人左右。

谷文昌身邊的多位干部群眾在受訪時說，谷文昌去世后，子女在平凡的崗位自食其力，沒有向組織和各級領導干部提過關于個人的任何要求，也沒有接受過組織的任何特殊照顧，沒有打著谷文昌的旗號謀私利。

谷哲慧說：“以前對父親有怨言，小時候一周見不到父親幾次，長大以后在工作和個人待遇上也沒‘沾到光’，當時不明白為什么他連自己的子女都不幫，甚至還要‘阻撓’。后來我們慢慢理解他了，他是一個公而忘私的人，是一個把自己的一切獻給人民群眾的人。看到東山發生的翻天覆地變化，看到人民群眾這么愛戴他，我們感到很驕傲，也會讓谷家的好家風一直傳承下去。”