黄土水は 1895 年、日本による台湾統治が始まったその年に台北の艋舺（現在の台北市万華区）に生まれました。長兄は早くに亡くなり、次兄とは 8 歳違いで、黄土水は三男でした。父は人力車を扱う木工職人でしたが、黄土水が 12 歳の時に亡くなったため、母と共に大稲埕（台北市大同区）に住む兄の下に身を寄せ、大稲埕の公立学校（現・太平小学校）に転校しました。黄土水は、大稲埕にある神仏用品の店を頻繁に見て回り、福州系の神仏彫刻に触れていました。幼い頃から父の仕事を見てきたこともあり、彫刻芸術に対する深い興味が自然と養われました。
1911 年、黄土水は国語学校師範部（台北師範学校の前身）に合格。在校時は、工作と絵画で非常に優れた成績を残し、教師からは常に褒められ、将来、彫刻の道に進む考えがより明確に定まりました。1915 年、黄土水は優秀な成績で卒業し、教師として母校に配属されます。教職に就いて半年もたたない頃、当時の台湾総督府民政長官の内田嘉吉と国語学校長の隈本繁吉の推薦により、東洋協会台湾支部から奨学金を得たほか、彫刻作品「李鉄拐」が審査に通ったことにより、試験免除で東京美術学校（現・東京芸術大学）彫刻科木彫部に入学します。同校では初の台湾人留学生であり、美術を学ぶために日本に渡った初の台湾人でもありました。
やっとの思いでつかんだ勉強のチャンス。黄土水は、全身全霊を彫刻芸術に注ぎ込み、彫刻材料を購入するお金を貯めるため、3 度の食事を芋粥で済ませることも多かったといいます。1920 年には最優秀の成績で卒業し、同校の研究科に合格して彫刻の勉強を続けることになります。同年の作品「蕃童（山童吹笛）」が第 2 回帝国美術院展覧会（帝展）で入選。台湾出身の芸術家として初の帝展入選を果たしました。その後も、「甘露水」、「ポーズせる女（擺姿勢的女人）」、「郊外」で連続して帝展に入選。素晴らしい作品を相次ぎ送り出し、注目されました。
3 回連続の帝展入選で名が知られた黄土水は、皇室や政財界からも一目置かれ、肖像や小動物の木彫りなどの制作を多数依頼されます。1922 年、研究科卒業後に台湾に戻り、艋舺に臨時のアトリエを設けて水牛の形態を研究。また、「みかど雉子」と「双鹿」を宮中に献上します。同年、結婚して妻と共に日本に戻り、池袋にアトリエ兼住居を構えました。
黄土水は人生の大部分を日本で過ごしましたが、その作品には彫刻のプロとしての厳しさと郷土愛が反映されており、常に台湾情緒が色濃く漂っています。黄土水の作品が人々に高く評価されるのは、リアリティーを描く手法の中に、郷土への思いと生命の意義が融合され、強い個性があるところで、そのため、芸術界の麒麟児といわれました。広く知られている「水牛群像」は、黄土水が心血を注いだ作品です。黄土水は、台湾の水牛をこよなく愛し、創作のモチーフとしてよく選んでいます。家で水牛を飼って間近で観察したこともあり、持ち味を発揮して、日夜制作に当たり、縦 250 センチ、横 555 センチのこの大作を完成させました。牧童と水牛の関わりを描いたこのレリーフ作品は、当時の農村の様子が反映され、濃厚なその地の風情と時代的な意義を備えています。
1930 年、黄土水は腹部の激しい痛みを押して「水牛群像」を完成させます。その後に病院にかかりましたが、盲腸炎からの腹膜炎により逝去しました。2009 年、「水牛群像」は「国宝」に指定。20 世紀の文物としては、台湾初の国宝指定でした。36 年という短い芸術家人生の中で、黄土水は誰もが知る作品を創り出し、台湾に不朽の国宝芸術を残しました。