七歲時，胡泉雄穿上媽媽用麵粉袋拆下來做成的「新衣」，打著赤腳，由爸爸陪他就讀頭份國小，開啟他艱辛的學習之旅。
他在小學四年級以前，懵懂荒唐，不喜歡讀書，在學校裡成天鬼混；回到家也很少翻開書本。升上五年級之後，忽然發憤用功，點著油燈做功課，成績名列前矛。
小學畢業，經不起父兄的逼迫，雖然沒有參加補習，卻考上離家最近的竹南中學。靠著獎學金讀完初中之後，他捨棄直升高中而就讀公費待遇的師範學校，開始學習音樂。因為買不起鋼琴，只得借琴自學。