Syekh Abdul Karim Amrullah lahir di Nagari Sungai Batang, Maninjau, Sumatra Barat, pada tahun 1879. Sejak kecil, ayah dari pahlawan nasional Buya Hamka telah menunjukkan tanda-tanda kecerdasan. Pada usia 15 tahun, Muhammad Rasul, demikian nama kecilnya, pergi ke Tanah Suci. Setelah menyelesaikan musim haji, dia melanjutkan studi ilmu agama Islam di Makkah.
Di Masjid al-Haram, dia belajar kepada ulama yang juga merupakan imam besar asal Minangkabau, Syekh Ahmad Khatib al-Minangkabawi. Di antara teman-temannya sesama santri di sana, terdapat Syekh Tahir Jalaluddin al-Azhari (sepupu Abdul Karim Amrullah, lahir 1869), Syekh Muhammad Jamil Jambek (lahir 1860), dan Haji Abdullah Ahmad (lahir 1878).
Abdul Karim Amrullah belajar ilmu-ilmu agama selama tujuh tahun di Tanah Suci. Setelah kembali ke Tanah Air, dia kembali ke Makkah pada tahun 1903. Pada tahun 1906, Abdul Karim kembali ke kampung halamannya di Sumatra Barat untuk mengamalkan ilmu dan berdakwah. Ia termasuk yang paling awal memperkenalkan sistem pendidikan modern Islam di Minangkabau.
Murni Djamal dalam artikel berjudul “The Origin of the Islamic Reform Movement in Minangkabau: Life and Thought of Abdul Karim Amrullah” menjelaskan, Syekh Abdul Karim Amrullah merupakan yang pertama memperkenalkan Muhammadiyah ke Sumatra Barat. Cerita bermula dari kegemarannya dalam bepergian ke luar Minangkabau, termasuk Semenanjung Malaya dan Jawa.
Dalam perjalanan ke Malaya, menurut Murni Djamal, Syekh Abdul Karim kurang mendapat sambutan yang baik dari masyarakat setempat karena otoritas setempat menganggap gaya mengajarnya kurang ortodoks. Namun, di Jawa, dia mendapatkan banyak sahabat, khususnya setelah bertemu dengan para pemuka Sarekat Islam (SI) dan Persyarikatan Muhammadiyah.
Pada tahun 1925, Persyarikatan berkembang dengan pesat di Sumatra Barat berkat rintisannya. Selain memperkenalkan Muhammadiyah, Syekh Abdul Karim Amrullah juga merancang dan mempraktikkan pengajaran Islam yang lebih modern di tengah masyarakat. Hal ini berujung pada kemunculan lembaga Sumatra Thawalib, sebuah sistem sekolah Islam yang banyak mencetak murid-murid berpikiran kritis. Banyak alumni Sumatra Thawalib turut terlibat dalam perjuangan kemerdekaan Indonesia.
Pada 1920, Syekh Abdul Karim Amrullah menjadi penasihat Persatuan Guru Agama Islam (PGAI). Atas inisiatifnya, berdirilah Sekolah Normal Islam di Padang pada tahun 1931 yang menyediakan pendidikan dasar. Pada masa itu, pemerintah kolonial Belanda mulai bersikap keras terhadap sekolah-sekolah yang didirikan masyarakat pribumi. Namun, berkat perjuangan Syekh Abdul Karim, otoritas kolonial membatalkan ordonansi yang menyatakan sekolah-sekolah itu berstatus “liar”.
Bersama dengan Syekh Abdullah Ahmad di Padang dan Syekh Djamil Djambek di Bukittinggi, Syekh Abdul Karim di Padang Panjang berdakwah untuk membersihkan Islam dari kecenderungan taklid, bid’ah, dan keterpurukan. Ketiga tokoh pembaru Islam di Minangkabau itu saling mendukung untuk mengentaskan sikap taklid di kalangan umat.
Dalam sebuah risalahnya, Muqaddimah, Syekh Abdullah Ahmad mendukung giat dakwah Syekh Abdul Karim Amrullah yang mengimbau agar kaum Muslim tidak bersikap fanatik buta terhadap keempat mazhab fikih. Syekh Abdul Karim Amrullah juga mengkritik praktik pembagian harta warisan secara adat Minang basada garis ibu (matrilineal) dalam dua bukunya, al-Fara’id dan Sendi Aman Tiang Selamat.
Kegigihan Syekh Abdul Karim Amrullah mendapatkan apresiasi, antara lain, dari pihak Universitas al-Azhar di Kairo, Mesir. Dia bersama dengan Syekh Abdullah Ahmad merupakan orang Indonesia yang pertama kali mendapatkan gelar doktor kehormatan dari universitas tersebut. Pada umumnya, Syekh Abdul Karim Amrullah memiliki peran yang sangat besar dalam menyemarakkan Muhammadiyah di Sumatra Barat dan merancang dan mempraktikkan pengajaran Islam yang lebih modern di tengah masyarakat Minangkabau.