Museum Geologi didirikan pada tanggan 16 Mei 1929. Dalam perjalanannya, museum pernah direnovasi dan dibuka kembali pada tahun 2000. Pendirian Museum Geologi merupakan inisiatif dari Dienst van den Mijnbouw atau Dinas Pertambangan pada masa Hindia Belanda. Saat itu, dinas tersebut menginginkan ada satu tempat yang digunakan untuk menyimpan hasil penyelidikan tambang yang dilakukan.

Pada 23 April 1927, dimulailah pembangunan gedung museum yang diarsiteki oleh Ir Menalda van Schouwenburg. Gedung museum didesain bergaya Art Deco, melibatkan 300 pekerja bangunan, dan ditaksir menghabiskan dana 400 gulden. Memasuki masa Perang Dunia II, pemerintah Hindia Belanda menjadikan bangunan museum sebagai markas Angkatan udara. Koleksi yang ada di Museum Geologi kemudian dipindahkan ke Gedung Pensioen Fonds yang kemudian dikenal dengan Gedung Dwiwarna. Saat masa pendudukan Jepang, Museum Geologi dikelola oleh Kogyo Zimusho dan namanya diubah menjadi Chisitsu Chosasho. Sedangkan saat Indonesia merdeka, museum ini berada di bawah pengelolaan Djawatan Tambang dan Geologi.