Ia lahir di Sawahluto, Sumatra Barat, pada tanggal 23 Agustus 1903.
Pada saat masih menjadi mahasiswa Recht Hoogenschool (Sekolah Kehakiman) Jkarta, ia sering berpidato yang antipenjajahan. Ia terus-menerus berpidato dan melontarkan kritik tentang kebijakan pemerintah Kolonial Belanda.
Ia masuk organisasi Jong Sumatranen Bond (1926-1928) sehingga menyebabkan dicabutnya beasiswa yang diberikan Pemerintah Kolonial Belanda kepadanya. Walaupun demekian , dengan usaha kerasnya , ia berhasil menamatkan pendidikannya dan berhak menyandang gelar Meester in de Rechten (Sarjana Hukum) pada tahun 1932.
Ia merupakan salah satu peserta dalam kongres Pemuda ke-2 pada tanggal 28 Oktober 1928 di Jakrta. Ia ikut aktif dalam partindo (Partai Indonesia) dari tahun 1932-1938. Selain itu, ia juga anggota Volksaard (1938-1942). Keanggotaannya di Volksaard dijadikan sarana untuk memperjuangkan kepentingan bangsa Indonesia.
Ia juga pelopor munculnya Gerindo (Gerakan Rakyat Indonesia). Selain Muhammad Yamin, Gerindo juga di pelopori oleh pemuda radikal lainnya yaitu Tjipto Mngkusumo, K.K. Gani, dan Amir Syarifuddin.,
Pada masa menjelang Proklomasi, ia duduk sebagai anggota Panitia Persiapan Kemerdekaan Indonesia (PPKI). Gagasannya tentang dasar negara dan undang-undang dasar ikut menyemarakkan sidang-sidang panitia tersebut.
Setelah Indonesia merdeka, ia tetap terlibat dalam berbagai forum. Seperti menjadi penasehat delegasi dalam Konferensi Meja Bundar di Dn Haag (1949), Menteri Kehakiman (1951), Menteri Pendidikan, Pengajaran, dan Kebudayaan (1953-1955), Ketua Dewan Perancang Nasional (Depernas), duduk dalam keanggotaan legislatif, dan jabatan penting lainnya.
Pahlawan yang berpikir cerdas dan luas serta ahli dalam bidang hukum, sejarah, dan sastra ini tutup usia pada tanggal 17 Oktober 1962. Jasadnya disemayamkan di Talawi, Sawahlunto, beriringan dengan makan Usman Gelar Baginda Khatib, ayahandanya.
