Pondok Pesantren Sumatera Thawalib semenjak didirikan oleh Syekh Ibrahim Musa September 1910, yakni setelah kembalinya beliau dari Mekah yang pertama tahun 1910 M beliau mengadakan pengajian secara halaqah di Parabek . Anak mudapun berdatangan ke Parabek ingin menuntut Ilmu kepada beliau ,dari daerah–daerah di Minang Kabau .Pada tahun 1914 beliau pergi ke Mekah kali yang kedua untuk menambah Ilmunya. Beliau pulang ke Bukittinggi tahun 1916. Sementara beliau di Mekah dua tahun itu beliau mempercayakan pengajian di Parabek kepada murid – murid beliau. Pada tahun 1918 beliau menyatukan murid – muridnya itu dalam satu organisasi diberi nama Muzakaratul Ikhwan dan terakhir diberi nama Jamiatul Ikhwan.
Syekh Ibrahim Musa menyadari bahwa sangat perlu adanya usaha kaderisasi ulama karena kehadiran ulama merupakan kebutuhan yang muthlak, ulama berperan mengaktualisasikan ajaran agama sesuai dengan perkembangan zaman, ulama memiliki pengaruh yang besar dalam mengarahkan kehidupan beragama ditengah masyarakat karena ulama itu adalah pewaris para nabi, peranan ulama dalam kenyataannya tidak dapat diasingkan dari perkembangan masyarakat yang terus berubah oleh sebab itu kualitas keulamaan seorang ulama harus sesuai dengan tantangan zaman. Akhirnya pada tahun dua puluhan, bersama sama dengan Dr. Syekh H. Abdul Karim Amarullah ( Inyiak De-er ), beliau sepakat mendirikan Sumatera Thawalib, di Padang didirikan oleh Inyiak De-er, sedangkan di Parabek didirikan oleh beliau sendiri dan dirubahlah organisasi pelajar Jamiatul Ikhwan menjadi Sumatera Thawalib.
Pada awal tahun 1926 membangun gedung Sumatera Thawalib Parabek 7 lokal. Sistim pendidikan yang dikembangkan oleh Syekh Ibrahim Musa menekankan kepada kemandirian murid – murid dalam berbagai lapangan kehidupan dan induk meninjau proses pendidikan itu didirikanlah perpustakaan, koperasi, asrama , lapangan olah raga dan lainnya. Juga beliau tidah pernah menekankan pada muridnya untuk mengikuti mazhab Syafi’i, beliau memberikan kebebasan pada murid – muridnya untuk memilih satu mazhab
Sampai akhir tahun 70 Sumatera Thawalib masih eksis dan merupakan lembaga pendidikan yang berperan melahirkan ahli-ahli agama dan intelektual yang biasa disebut dengan Syekh atau Buya, jebolan dari Sumatera Thawalib dapat menempati posisi penting dalam kegiatan institusi keagamaan, mulai dari tokoh agama dari tingkatan terendah sampai tingkat penberi fatwa atau posisi lainnya dalam bidang keagamaan diseluruh pelosok negri bahkan ada yang mencuat untuk tingkat nasional dengan reputasi keilmuan, politik maupun dengan kepribadian yang disegani.
Beberapa tokoh ulama dan intelektual telah disumbangkan oleh Sumatera Thawalib untuk negara tercinta ini seperti :
- H Adam Malik ( Wapres )
- Buya HAMKA ( Ketua MUI )
- Buya Yunan Nasution
- Buya Dt Palimo Kayo ( Dubes RI Irak )
- KH Gafar Ismail
Setelah itu dengan adanya pengaruh perkembangan zaman terasa adanya pergeseran nilai sehingga proses pencetakan kader ulama terlihat agak lamban dikarenakan beberapa kebijakan penurunan tahun pelajaran dari :
1. Pesantren 11 tahun
- Sumatera Thawalib 8 tahun
- Kuliyyatudiyanah 3 tahun
Dengan pola yang dikembangkan Syekh Ibrahim Musa ini dapat dikatakan bahwa santri yang dikeluarkan sudah melebihi tingkat sarjana yang ada sekarang kepada lulusan diberikan oleh syekh :
- Izin untuk memberikan fatwa tentang persoalan hukum islam yang muncul ditengah masyarakat.
- Ijazah yang berikan pesan berani memberikan fatwa berani masuk neraka
- Kepercayaan untuk membuka pesantren apabila kembali kekampung masing-masing malahan ini menjadi syarat untuk penerimaan ijazah
2. Pesantren 8 tahun
- Sumatera Thawalib 4 tahun
- Kuliyatuddiyanah 4 tahun
3. Pesantren 7 tahun
- Sumatera Thawalib 4 tahun
- Kuliyatuddiyanah 4 tahun
4. Pesantren 6 tahun
- Tingkat Tsanawiyah 3 tahun
- Tingkat Aliyah 3 tahun.
Dengan berkurangya tahun tersebut maka kwalitas yang dihasilkan juga menurun karena beberapa ilmu tidak dapat diajarkan kepada santri. Dengan dirasakan adanya pendangkalan ilmu tersebut membuat para santri yang menamatkan pelajarannya di Sumatera Thawalib Parabek merasa kurang puas, oleh sebab itu pihak Madrasah menampung keinginan santri untuk mendalami ilmu agama dalam satu wadah takhashus kader ulama yang dirintis oleh KH Umar Chatib pada tahun 1998, takhashus kader ulama ini mendalamani ilmu alat sperti Ushul Fiqh, nahu, sharaf, dll. Takhassus ini yang menjadi wadah untuk memenuhi kebutuhan dan meningkatkan kwalitas pendidikan pesantren yang diharapkan akan mampu melahirkan ulama-ulama intelektual ditengah berkembangnya ilmu pengetahuan dan teknologi dewasa ini, disamping itu takhashus ini dapat mempertahankan tradisi dan keunggulan pesantren.
Dalam tahun 2002, Pondok Pesantren Sumatera Thawalib Parabek mencoba untuk melakukan pembaharuan sistem takhashus ini dengan Pesantren Tinggi (Ma’had Aly). Pada tahun 2016 Direktur Jenderal Pendidikan Islam Diniyah dan Pondok Pesantren Kementerian Agama RI mengeluarkan SURAT KEPUTUSAN tentang IZIN PENDIRIAN MA’HAD ALY pada PONDOK PESANTREN dengan nama MA’HAD ALY SUMATERA THAWALIB PARABEK, dan fokus pada Prodi FIQH DAN USHUL FIQH dengan NSMA : 241213060001.
Alhamdulillah, sampai dengan tahun sekarang 2019 Ma’had Aly Sumatera Thawalib Parabek sudah ada 4 (empat) angkatan dengan jumlah Mahasantri lebih kurang 96 orang.