博物馆开馆时，使用的是近藤十郎设计的台湾总督府彩票局，位于今博爱路博爱大楼北侧。台湾总督府原有发行彩票的计划，后因引起舆论反对而取消，厅舍遂由殖产局移入成为陈列展示场所。当时由彩票局局长转任殖产局局长的宫尾舜治表示：“我认为这座博物馆是一所自然科学的博物馆，将所有关于台湾的动植物、矿物全搜集起来并好好利用它们达到博物馆的目的。其次是把昔日消失的历史文物陈列出来，以此为基础，对以后的世界学术有所贡献。如有外国人来台北考察，无可藉以知其产物之博物馆，且无可因而识其历史变迁之陈列所，那么他们必以轻忽侮慢之眼看我台北市。”1908年开馆时的陈列品分为地质矿物、植物、动物、人类器物、历史及教育资料、农业材料、林业资料、水产物、矿业资料、工艺品、贸易资料、其他等共十二类，大致分属自然史、工艺产业和历史文物三个范畴，成为本馆的基础馆藏。彩票局后来博物馆迁出，曾作为总督府图书馆，战争时遭空袭炸毁。

       1906年儿玉源太郎总督和后藤新平民政长官离任，官方筹划大兴土木纪念两人治台功绩。当时《台湾日日新报》报道：“彼所谓纪功碑，凯旋门犹此例也。是等之建设物，凡以示战胜之伟勋，于千秋之下，使后世之人有所观感而兴起焉。其实际也，其在法国有拿破仑者，雄长一世，执欧洲之霸权，因建凯旋门于巴黎。靡岁月三十年，费金钱不知其几百千万。结构之壮，雕镂之美，世界无比。……然日俄一役，（儿玉）前督实膺帷幄之任，而卒荷凯旋之光荣。本岛有此光荣之（儿玉）总督，不可无有以纪念之也。且前督之趋重国事也于台湾统治，胥赖（后藤）长官之承宣措理。则此光荣，长官实与焉，亦不可无以为纪念也。”

      另有报道说：“儿玉前督后藤民政长官，治台之功震闻中外，固不烦赘也。其统治也，自法律制度以至财政、拓殖、道路、交通、卫生、教育等，治具毕张。匪氛绝迹，瘴疠之气收。而岛民共安堵乐业，享福利被德泽，骎骎乎进文明之美域焉。”

      虽是由总督府启动纪念前总督和民政长官的建设，但也认为不宜使用公款，因此铺陈由台湾本岛绅士发起捐款的舆论形势。“虽由天皇陛下重念新领土之结果，历代前后之总督长官与有功焉，然未始非由儿玉前督及后藤民政长官之勤劳九年，经营一切，咸得其宜之力也。”因此“岛民感激不措，欲传其炳燿之盛德大业，永远以垂不朽，将为一大纪念之举，计划久矣。”此次趁后藤返日接任满铁总裁，“全岛绅民参集台北，乘此好机以该计划审议。屡经会合中，不论内地人本岛人，满场一致，以建设一大纪念建造物可决确定。”而且“岛民间推林本源家及辜显荣诸氏为副委员长”这两人“一则资产累千万，一则百数十万。皆拥有此巨资，亦愿慨当以慷，力任仔肩，独筹建设，以继洛克菲勒卡内基之盛轨。”

     1913年资金尚未募齐，纪念馆已选择新公园，并于1915年完成，4月18日举行落成式。1915年5月《台湾时报》提到当时的情形：“到会者，跄跄济济，官绅约六百余名。”代表台湾本岛人的辜显荣也以祝辞歌颂儿玉、后藤之功绩。

     纪念馆工程费27万元，总建坪510坪（约1688平方米），由总督府技师野村一郎、技手荒木荣一设计，高石组高石忠慥承揽建筑营造、原田金次郎承揽电灯工程，技师近藤十郎、吉良宗一担任监造，采用欧洲博物馆常见的新古典主义风格，兼具仿希腊神殿多立克柱式支撑的三角山墙与罗马建筑穹顶，整体建筑平面配置座南朝北呈左右对称“一”字形，日本时代通往台北车站前广场，北面道路1922年町名划设后称为表町通（今馆前路），南面面向新公园（今二二八和平纪念公园），使博物馆可收揽园内自然景观。

     中央栋全栋为钢筋混凝土构造，左右翼为砖及钢筋混凝土混构，屋顶为木造铺铜板瓦。地下室地板铺设混凝土与沥青覆水泥粉刷以防白蚁防水、室内装修材料包括：左右翼楼一、二层为钢筋混凝土楼板上铺设木地板，木地板上铺亚麻油毯，阳台铺设日本制地砖；中央栋一楼广间铺设美浓国赤坂（今岐阜县南部）产黑大理石及水户产白寒水石，中央为大理石马赛克拼贴，玄关、通道等铺设德国产地砖；二楼回廊为台湾产白大理石及黑板岩，休憩室为木地板上铺亚麻油毯。壁面腰板、踢脚采用美浓赤坂产更纱大理石，扶手格子为黄铜，休憩室踢脚板、腰企口板使用楸木。外部装修基础石及正面、背面中央楼梯使用安山岩，腰板以上为洗石子。

     专为仪式性纪念目的而设计的大厅，环绕着挑高的32根复合式柱（Composite Order），每根高32尺，直径2尺7寸。采光穹顶下的镶嵌玻璃天花离地板54尺，图案包含儿玉家及后藤家徽“军配团扇に五枚笹”（指挥扇与五竹叶）与“下がり藤”（藤花），也可见于柱身壁灯座两侧浮雕，由新海竹太郎制作的儿玉、后藤两座铜像则矗立于两侧壁龛。展示空间被分配在一楼二楼左右两翼延伸的长厅，落成时馆员就已经“觉得狭窄，为此连地下室的准备室也充当陈列室”。

     战后隶属于台湾省行政长官公署，改制為台湾省博物馆；再隶属于台湾省政府，更名为台湾省立博物馆，因展示空间不足，取消南侧可欣赏公园景致的阳台，外推为可作为展览使用的室内廊道空间。1991年至1996年，台博馆由省住都局建筑处主办修复工程，汉宝德主持的汉光建筑师事务所承接调查研究及设计监造、慶仁营造承作，将日本时代木桁架屋顶拆除改为钢构屋顶，增加第三楼层三百多坪。

     2002年发生三三一大地震，由李乾朗担任紧急应变小组召集人，办理震害评估与补强规画及修复工程设计。2003年起进行整修改建，包括馆前广场景观设计拆除广场外金属栏杆，重整内部设备管线，拆除二、三楼间局部楼板，改造入口、服务台、洗手间及视听室，2005年纳入文建会首都核心区博物馆计划。