Apabila ditelusuri, ide pembentukan MK sebenarnya sudah tercetus saat sidang BPUPKI tahun 1945. Kala itu, Muhammad Yamin melontarkan ide tentang perlu dibentuknya organ yang menguji undang-undang terhadap UUD. Sayang, ide Yamin kandas begitu saja, dan tidak dimasukkan dalam rumusan UUD 1945.
Pasca reformasi, ide pembentukan MK menguat kembali. Konkretnya, lahir Pasal 24 ayat (2) dan Pasal 24C UUD 1945, amandemen perubahan ketiga pada 10 November 2001. Lalu, ditindaklanjuti dengan pengesahan UU No. 24 Tahun 2003 yang menandai lahirnya MK sebagai negara yang ke-78 yang memiliki MK.
Sejak berdiri hingga kini, eksistensi MK mulai mewarnai praktik sistem ketatanegaraan Indonesia lewat putusan-putusannya yang dinilai progresif. Awal kiprahnya, MK periode pertama (2003-2008) di bawah kepemimpinan Prof Jimly Asshiddiqie, MK belum memiliki gedung sendiri meski sudah dibebani pelimpahan perkara dari MA.
Selain meminta dukungan tenaga teknis administrasi umum dan teknis yudisial dari Sekjen MPR dan MA, MK kerap berpindah-pindah kantor. Seperti dikutip dalam Buku Lima Tahun Menegakkan Konstitusi (2008), untuk pertama kalinya MK berkantor di Hotel Santika di Jalan KS Tubun, Jakarta Barat selama sebulan. Hotel itu pun difungsikan sebagai penginapan sementara para Hakim Konstitusi yang berasal dari luar Jakarta. Alamat surat-menyurat juga masih menggunakan nomor telepon seluler Ketua MK Prof Jimly Asshiddiqie.
Setelah itu, MK pindah kantor ke Plaza Centris, Lt. 4 dan Lt. 12A Jalan HR Rasuna Said, Kuningan Jakarta Selatan dengan memanfaatkan lahar parkir yang “disulap” menjadi tempat kerja pegawai. Sedangkan untuk menggelar persidangan perkara saat itu MK menumpang di gedung Nusantara IV (Pusataka Loka) Kompleks MPR/DPR.
MK baru menempati kantor sendiri sekitar tahun 2004 yang saat itu meminjam gedung milik Kementerian Komunikasi dan Informasi di Jalan Medan Merdeka Barat No. 7 Jakarta Pusat -saat ini menjadi Gedung Kemenko Perekonomian-. Namun, aktivitas persidangan di gedung itu masih kurang memadai, sehingga sempat menggunakan fasilitas ruang Radio Republik Indonesia (RRI) dan Mabes Polri saat menyidangkan perkara perselisihan hasil Pemilu 2004.
Seperti dipaparkan dalam Buku Sejarah Pembangunan Gedung MK terbitan Sekretariat Jenderal dan Kepaniteraan MK (2007), ide awal membangun Gedung MK sudah dibicarakan para Hakim Konstitusi. Untuk lokasi, pilihan jatuh di lahan Plaza Telkom yang lokasinya persis sebelah Gedung MK lama (Gedung Kemenko Perekonomian). Akhirnya, MK membeli tanah dan bangunan dari PT Telkom dengan sertipikat HGB seluas 4.220 M2 seharga Rp49.104.852.000.