Bangunan ini merupakan rumah orang Belanda (Gevangenis Laan) yang didirikan tahun 1915 dengan gaya Eropa dikombinasi arsitektur Jawa. Pemilik terakhir sebelum ditempati Ki Hadjar Dewantara adalah janda penguasa perkebunan Belanda bernama Mas Ajeng Ramsinah, kemudian dibeli oleh Tamansiswa pada 14 Agustus 1934 dengan harga tiga ribu gulden pada 18 Agustus 1951. Pembelian tersebut dihibahkan pada Yayasan tamansiswa.
Tanggal 2 Mei 1970 museum diresmikan dan dibuka untuk umum oleh Nyi Hadjar Dewantara. Peresmian ditandai dengan sengkalan yang berbunyi "Miyat Ngaluhur Trusing Budi" yang bermaksa para pengunjung diharapkan dapat mempelajari, meresapi, menghayati isi museum untuk selanjutnya dapat menciptakan gagasan baru.
Konstruksi bangunan cukup kokoh karena bahan yang digunakan berkualitas tinggi. Kayu jati, tembok berukuran satu bata merah, tegel yang indah dan kuat merupakan unsur - unsur kekokohan bangunan.
