Pondok Pesantren Al-Falahiyyah didirikan oleh K.H.R. Zamruddin dan Ny. Hj. Rubai’ah Sofia Jamila pada tahun 1963. Adapun latar belakang didirikannya Pondok Pesantren Al-Falahiyyah karena adanya tuntutan masyarakat Mlangi yang belum memiliki pesantren khusus putri untuk belajar dan menghafal Al-Qur’an. Sehingga Pondok Pesantren Al-Falahiyyah merupakan pesantren putri pertama di Mlangi.[1]
K.H.R. Zamruddin sebagai pendiri Pondok Pesantren Al-Falahiyyah merupakan keturunan ketujuh K.H. Nur Iman melalui nasab R.M. Nawas bin R.M. Kiai Abdullah Shidiq bin R.M. Juned bin R.M. Kiai Romli bin R.M. Syahid Mantingan (Kiai Salim) bin K.H. Nur Iman (B.P.H. Sandiyo). Beliau telah menimba ilmu di Langgar Lor, yang kelak menjadi Pondok Pesantren Al-Miftah kepada K.H. Sirrudin. Diaman beliau belajar kitab Fathul Qorib dan Alfiyah Ibnu Malik. Kemudian beliau melanjutkan belajar ilmu agama di Pondok Pesantren Al-Hidayah Lasem kepada K.H. Ma’shum pada tahun 1949-1963. Dan disinilah beliau dinikahkan dengan Ny.Hj. Rubai’ah Sofia Jamila dari Berjan, Purworejo yang merupakan keturunan
keenam K.H. Nur Iman melalui jalur nasab K.H. Shidiq Berjan bin K.H. Zarkasyi bin R.M. Kiai Asnawi bin R.M. Syahid Mantingan (Kiai Salim) bin K.H. Nur Iman. Kemudian setelah pernikahan ini beliau mendapat tugas berdakwah di Kampung Tulis, sekitar dua kilometer dari Pondok Pesantren Al-Hidayah Lasem. Kemudian setelah selesai menimba ilmu di Lasem pada 1963, beliau pulang kembali ke Mlangi dan mendirikan Pondok Pesantren Al-Falahiyyah sebagai pesantren khusus putri yang fokus untuk mengajarkan dan menghafalkan Al-Qur’an. K.H.R. Zamruddin wafat pada 1997, dan kepemimpinan Pondok Pesantren Al-Falahiyyah dipegang oleh putra tertua beliau, K.H. Rifqi Aziz Maksum. K.H.R. Zamruddin dikaruniai 5 putri dan 3 putra yang mendirikan pesantren masing-masing. Putri pertama bernama Ny. Hj. Durratul Yatimah yang mendirikan Pondok Pesantren Al-Barokah bersama suami beliau, K.H. Rosim Al-Fatih, Lc di Karangwaru, Tegalrejo, Yogyakarta. Putri kedua bernama Ny.Hj. Nuryana Masruroh yang bermukim di Larangan, Maduretno, Kalikajar, Wonosobo bersama suami beliau, K.H. Wahib Asy-Syahir yang mengasuh pesantren di Larangan. Putri ketiga bernama Ny. Hj. Umroh yang bermukim di Ngebong, Margorejo, Tempel, Sleman bersama suami beliau K.H. Hasan Barir yang mengasuh Pondok Pesantren Roudlotus Sabiqin. Putri keempat bernama Ny. Hj. Maghfiroh yang bermukim di Mlangi dan mendirikan Pondok Pesantren Al-Mubarok bersama suami beliau K.H. Abdurrahman. Kamudian untuk ketiga putra beliau, yakni K.H. Rifqi Aziz Maksum, K.H. Fahmi Basya, Lc., K.H. Musbahus Sudur menetap di Mlangi dan ikut mengasuh, serta mengajar di Pondok Pesantren Al-Falahiyyah.[1]
Pada awal berdirinya, Pondok Pesantren Al-Falahiyyah memiliki 35 santriwati yang berasal dari masyarakat sekitar Mlangi. Pada tahun 1972, Pondok Pesantren Al-Falahiyyah mulai menerima santri putra yang berjumlah 15 orang. Pada tahun 1991, Pondok Pesantren Al-Falahiyyah melakukan pengembangan sarana dan prasana dengan membangun asrama putra pada lahan seluas 800 m2, yang berada di sebelah timur dusun Mlangi. Kemudian setelah wafatnya K.H.R. Zamrudin pada 1997, Pondok Pesantren Al-Falahiyyah mengalami perkembangan pesat baik dari perkembangan pendidikan hingga perkembangan fisik pesantren. Adapun perkembangan tersebut adalah pendirian Madrasah Diniyyah Al-Falahiyyah pada tahun 2000, pembukaan Pesantren Anak dan pendirian Madrasah Ibtidaiyah Al-Falahiyyah pada tahun 2009, pembangaunan Aula Jami’ah Qurra’ Wal Huffadz (JQH) dan asrama putri pada tahun 2010 dan pada tahun 2018, Madrasah Ibtidaiyah Al-Falahiyyah ditutup dan para siswa ditransfer ke Madrasah Ibtidaiyah Falahus Syabab karena bangunan Madrasah akan digunakan untuk Madrasah Aliyah Nur Iman Sleman.[2] Dan sebagai lemabaga pendidikan non formal, Madrasah Diniyyah Al-Falahiyyah resmi terdaftar di Kementrian agama dengan Nomor Statistik 510034041008.