台北公会堂のある場所は、清朝が台湾を統治していた時代、地方の最高行政機関である布政使司衙門（役所）建築群のあった所です。1895 年 5 月の乙未戦争（下関条約により日本への台湾割譲が決定し、日本軍が上陸した際、清軍の残兵や台湾住民の一部が抵抗して起こった戦闘）初期、布政使司は台湾民主国（日本による領有に反対する勢力によって建てられた一時的政権）の総統府になりましたが、それもわずか十数日で終了。日本が台北に進駐して布政使司衙門を接収し、50 年にわたる日本統治時代が始まりました。新しい台湾総督府庁舎（現在の総統府庁舎）が完成するまでの 1895 年から 1919 年の間、この布政使司衙門は、台湾総督府の庁舎として使われていました。
1931 年、総督府は昭和天皇の即位を記念して、布政使司籌防局前の広場に台北公会堂を建設することを決定。布政使司衙門と欽差行台（高級官僚が台北を訪れた際に宿泊施設や宴会場、会議室として使用された）の建物の一部は、円山動物園（現在の円山自然景観公園）と台北植物園に移設の上、保存され、そのほかの近隣の建物は 1932 年 8 月に取り壊されました。12 月には台北公会堂が着工しています。
1945 年、連合国軍最高司令官マッカーサーが、各地の日本軍に対して降伏するよう「一般命令第一号」を発し、陳儀将軍が台湾地区の代表として、日本の台湾総督兼第 10 方面軍司令官だった安藤利吉将軍による降伏を受け入れました。国民政府は、第 2 次世界大戦の中国戦区降伏受諾式第 15 受諾区の調印の場に台北公会堂を選びました。同年、台北公会堂は中山堂という名称に改められています。
1946 年、蒋介石が台北を訪問し、中山堂で行われた「台湾光復１周年記念大会」に出席。その後、中山堂は、陽明山中山楼が完成するまで、国民大会、正副総統の就任式、政府による海外からの来賓接遇を行う主要な場所になります。歴史に残る各国元首が訪れた際も、この場所で開かれた政府主催の宴会に出席しています。1954 年の「米華相互防衛条約」が調印されたのもこの場所でした。このため、台北公会堂は台湾光復（日本統治の終了）後の政治史において、重要な役割を果たしてきました。
「公会堂」は第 2 次世界大戦後に「中山堂」と改称されて、台北市政府に接収され、内部の「大集会場」「大宴会場」「普通集会室」もそれぞれ、「中正庁」「光復庁」「保塁庁」に名称が変更されました。その後の中山堂の主な役割の 1 つは、国民大会の開催場所であり、また、政府や各界が重要な集会を開く場所にもなりました。
中山堂は過去、政府が海外からの賓客をもてなす場として使われてきました。そうした賓客には、米国のリチャード・ニクソン大統領、韓国の李承晩大統領、南ベトナムのゴ・ディン・ジエム大統領、フィリピンのカルロス・ガルシア大統領、パフラヴィー朝イランのパーレビ国王といった当時の海外元首らがおり、政府主催の宴会がここで行われました。このほか、「米華相互防衛条約」締結、中華民国の第 2～4 代の総統、副総統の就任式が行われたのもこの場所です。
公会堂は鉄筋コンクリート造りの４階建て。現代的な建築法によって建てられた非常に堅固な建物で、耐震、耐火、耐風だけでなく、その他の機能も大変優れています。敷地面積は 1237 坪、延べ床面積は 3185 坪。建築様式が極めて自由なことが特徴で、スペインのイスラム建築様式も取り入れています。収容人数は当時の東京、大阪、名古屋の公会堂に続く 4 番目の規模でした。
こうした重要な歴史を持つ中山堂の特殊性から、中華民国内政部（内務省）は 1992 年、中山堂を国家第 2 級古跡に指定。2019 年には、中華民国文化部（文化省）が国定古跡に格上げすると発表しています。