1877 yılında Antalya'nın Elmalı kazasında doğdu. Aslen Burdur'un Gölhisar kazasına bağlı Yazır Köyü'nden olan babası Numan Efendi, küçük yaşta köyünden ayrılıp Elmalı'ya gelmiş, orada okumuş ve Şer'iyye Mahkemesi'nde Başkatip olmuştu. Annesi Fatma Hanım, Elmalı bilginlerinden Sarlar'lı Mehmet Efendi'nin kızıdır. Son devrin din bilginlerinden ve büyük bir tefsir alimi olan Hamdi Yazır; "Küçük Hamdi Efendi" diye de bilinir.
İlk ve orta öğreniminin yanısıra hafızlığını da Elmalı'da tamamlayan Muhammed Hamdi, tahsiline devam etmek için onbeş yaşında iken dayısı Mustafa Efendi ile birlikte İstanbul'a gitti ve Küçük Ayasofya Medresesi'ne yerleşti. Orada devrin büyük bilginlerinden olan Kayseri'li Mahmut Hamdi Efendi'den (Büyük Hamdi) icazet aldı. Bundan sonra hocası Büyük Hamdi, kendisi de Küçük Hamdi diye anılmaya başlandı. Birçok yazılarında da bu imzayı kullandı. Soyadı kanunu çıkınca babasının köyü olan "Yazır" soyadını aldı ise de daha çok doğum yerine nisbetle "Elmalılı" diye meşhur oldu. Tahsili esnasında Bakkal Arif Efendi ile Sami Efendi'nin hat derslerine devam ederek, onlardan da icazet aldı. Bir taraftan da kendi gayretleriyle felsefe ve musiki öğrendi.
Muhammed Hamdi, ülkeyi çağdaş ilim ve medeniyet seviyesine ulaştırmaya vesile olacağını düşündüğü, İttihat ve Terakki Cemiyeti'nin ilmiye şubesine üye oldu. Beyazıt Medresesi'nde iki yıl süren Dersiamlık görevinden sonra II. Meşrutiyet'in ilk meclisine Antalya mebusu olarak girdi. II. Abdulhamid'in tahttan indirilmesine rıza göstermeyen Fetva Emini Nuri Efendi'yi ikna edip, fetva müsveddesini yazmak suretiyle bu konuda etkili bir rol oynadı. Daha sonra Şeyhulislâmlık Mektûbî Kalemi'nde görev aldı. Mekteb-i Nüvvâb ve Mekteb-i Kudat'ta fıkıh, Medresetü'l-Mütehassısîn'de usûl -i fıkıh, Süleymaniye Medresesi'nde Mantık, Mülkiye Mektebinde de Vakıf Hukuku dersleri okuttu.
Hamdi Yazır, 1918'de Darûl-Hikmeti'l-İslamiyye Azalığına, kısa bir süre sonra da Reisliğine tayin edildi. I. Dünya Harbi'ni müteakiben bir müddet Evkaf Nazırlığı'nda bulundu ve bu sırada ayan azası (Senatör) oldu. Süleymaniye Medresesi Mantık müderrisi iken, Cumhuriyetin ilanı ile memuriyet yaptığı kurumlar lağvedilince evine çekildi, ilmî tetkik ve incelemelerle meşgul oldu.
Bir geliri olmadığından maddi sıkıntı çektiği bu dönemde, Metalib ve Mezâhib isimli tercüme eserini tamamladı.
Türkiye Büyük Millet Meclisi tarafından Diyanet İşleri Reisliği'ne bir Kur'an tercüme ve tefsiri hazırlatmak görevi verilmişti. Diyanet İşleri de bu hizmeti önce İstiklâl Marşı Şairi Mehmet Akif (Ersoy) Bey'den istedi. Akif'in bir müddet çalıştıktan sonra, özür beyan ederek görevi bırakması üzerine, teklif Hamdi Efendi'ye götürüldü. O bu sırada Mısırlı Prens Abbas Halim Paşa'nın teşviki ile Büyük İslâm Hukuku Kamusu ile meşgul oluyordu. Teklifi kabul ederek, bu çalışmasını yarım bıraktı ve tefsiri yazmaya başladı. "Hak Dini Kur'an Dili" adını verdiği 9 ciltlik eserini sağlığında tamamlamaya muvaffak oldu. Eserin ilk basımı 1936'da yapıldı. Sahasının en değerli kaynak eserleri arasında sayılır.
Çağdaşları arasında emsaline az rastlanan geniş kültürlü, mütefekkir bir din alimi olan Elmalılı Hamdi Yazır, aynı zamanda sanatçı bir kişiliğe sahipti. Türkçe, Arapça ve Farsça şiirler de yazmasına rağmen edebî yönüyle pek tanınmamıştır.
Musikiye'de aşinalığı olan Yazır'ın, sanatçı kişiliği daha çok hattatlığında ortaya çıkar. Sülüs, nesih, ta'lik ve celî türünde yazdığı çeşitli levhalarla son devrin seçkin hattatları arasında sayılmaktadır.
Elmalı'ya asıl ününü kazandıran eseri "Hak Dini Kur'an Dili" adlı meşhur tefsiridir. Kırk sekiz yaşında iken başlayıp hummalı bir çalışma sonucu altmış yaşında tamamlamıştır. Bunun dışında "Metâlip ve Mezâhib " adlı bir felsefe tarihi tercümesi vardır. "Tahlîlî Tarih-i Felsefe" başlığını da taşıyan eser, Babanzâde Ahmed Naim Bey tarafından İstanbul Darü'l-Fünûn'da ders kitabı olarak okutulmuştur. Mülkiye Mektebi'nde ki ders takrirleri (notları) de "İrşadü'l-Ahlâf fî Ahkâmi'l-Evkâf" ismiyle basılmış, daha sonraki yıllarda da Mülkiye Mektebinde ders kitabı olarak okutulmuştur. "Hz. Muhammed'in Dini İslâm" Anglikan Kilisesi'nin sorularına Şeyhulislamlık adına verdiği cevaplardan oluşan bir risaledir. Sözkonusu bu risale, Tefsirinin sonraki baskılarının baş tarafına eklenerek yayınlanmıştır. "İstintâcî ve İstikrâî Mantık" İngiliz yazar Alexander Bain'e ait eserin Fransızca'ya yapılan tercümesinden Türkçe'ye çevirdiği bu eseri, Süleymaniye Medresesi'nde öğrencilerine ders notu olarak vermiştir.
Bunların dışında inkâr ve şirkin insan ruhunda uyandırdığı ızdırap, İslâmiyetin ilerlemeye engel olmadığı, orduya yapılan yardımların zekat yerine geçebileceği gibi değişik konularda Beyanü'l-Hak, Sebilü'r-Reşâd ve Sırat-ı Müstekîm dergilerinde Küçük Hamdi veya Elmalılı Küçük Hamdi imzaları ile yayımlanmış birçok makalesi vardır. Aynı zamanda devrinin günlük gazetelerine de ilmî makaleler yazmıştır.
Usûl-i Fıkıha ve mantığa dair bir eseri, yarım vaziyette bir Hukuk Kamusu, bir kısmı noksan kalmış bir Divan, Tefsir'le ilgili tartışmalar dolayısıyla yazdığı bir broşürü basılmayan eserlerindendir.
Muhammed Hamdi, uzun zamandır kalp yetmezliği hastalığı çekiyordu. 27 Mayıs 1942'de, Erenköy'de, damadının evinde istirahat etmekte iken vefat etti. Cenazesi Sahrayıcedid Mezarlığına defnedildi. Allah rahmet eylesin.