İbnül Emin Mahmut Kemal İnan, 1870 yılında İstanbul’un Beyazıt semtinde dünyaya geldi. Babası Mühürdar Mehmed Emin Paşa, annesi Hamide Nergis Hanım’dır. Babası uzun yıllar sadrazam Yusuf Kâmil Paşa’nın mühürdarlığını yapmıştı. Çocukluk yıllarının çoğu zamanını Yusuf Kamil Paşa’nın eşi Zeynep Kâmil Hanım’ın konağında geçti.
1885 yılında Şehzade Rüşdiyesi'ni bitirdikten sonra bir süre Mülkiye ve Hukuk Mekteplerine devam etti. Ancak rahatsızlığı sebebiyle buraları bitiremeden ayrıldı ve özel hocalar ile medrese derslerine devam ederek kendini yetiştirdi. Özel ders aldığı hocalar arasında Mehmet Akif’in babası İpekli Mehmet Tahir Efendi vardı.
1889 yılında Sadaret Mektubî Kaleminde başladığı otuz üç yıllık memuriyet hayatına Teftiş-i Islahat Komisyonu Başkitabeti'yle devam etti. 1909 senesinde Sultan II. Abdülhamit'in hal'inden sonra saraya verilmiş olan jurnalleri tasnif ve imha ile görevlendirilen komisyonun başına getirilmiş ve bu sıfatla Yıldız Sarayı evrakını inceleme imkânını buldu. 1914'te “Evkaf-ı İslamiye Müzesi”’ni (şimdiki adıyla Türk ve İslam Eserleri Müzesi) kurmakla görevlendirildi. Sanatla da ilgili olan İbnülemin, hat sanatını yaşatma amacıyla “Medresetü’l Hattatin” adlı okulun kurulmasında emeği geçti.
1916'da Şura-yı Devlet azalığına, 1921'de Osmanlı devletinin resmi yayın organı olan Takvim-i Vekâyi gazetesi müdürlüğüne, 1922'de Divan-ı Hümayun Beylikçiliği'ne atandı. İstanbul Hükümeti yıkılınca Bab-ı Alî'deki görevi sona erdi.
1923'de Tarih-i Osmanî Encümeni azalığına seçildi. Mayıs 1924'de Vesaik-i Tarihiye Tasnif Encümeni'nin başına getirildi. İbnülemin Mahmut Kemal İnal'ın başmemur unvanıyla başkanlığında tasnif başladı ve Mayıs 1926 senesine kadar devam etti. Bugün Osmanlı Arşivi'nde İbnülemin'in kendi adıyla zikredilen katalog 29 ciltten oluşur ve orijinal haliyle araştırmaya açık durumdadır. Hazine-i Evrak 1927'de Başvekâlet Osmanlı Arşivi'ne devredilince Tasnif Heyeti lağvedilmiş, İbnülemin'in buradaki görevi de sona ermiştir. Tasnif Heyeti’nin lağvedildiği 1927’de İbnülemin, kurucularından olduğu İslam Eserleri Müzesi'nin Müdürlüğü’ne tayin edildi. 1935'de emekli oluncaya kadar bu görevde kaldı.
İbnülemin Mahmut Kemal İnal, bu görevlerin yanı sıra Kütüphaneler Tasnif İşleri Müşavirliği ile İslam Ansiklopedisi Müşavirliklerinde de bulundu. 1939 sonunda Mısır Veliahdı Prens Mehmed Ali Tevfik’in daveti üzerine İstanbul’daki Türk ve İslâm Eserleri Müzesi’ne benzer bir kurumun düzenlenmesi ve sergilenecek eserlerin seçimi için Reîsülhattâtîn Kâmil Akdik ile birlikte Kahire’ye gitti. Bu görevi yerine getirerek 19 Şubat 1940’da İstanbul’a döndü.
Yaşamının son dönemlerinde Vefa'daki evi muhafazakâr fikir adamları ve şairler için bir tür meclis niteliğini kazandı. İbnülemin'in son devir Osmanlı erkân ve ricali hakkındaki olağanüstü geniş bilgisi ve kendine özgü fikirleri kendisinden genç kuşakları tarafından da takdir edildi.
1930'da "Son Asır Türk Şairleri" adlı eserini yayınladı. Bu eserde son dönem Osmanlı entelektüelleri hakkında zengin gözlem ve anekdotlara yer verdi.
1940-1953 arasında son 37 Osmanlı sadrazamının ayrıntılı terceme-i hallerini içeren 14 ciltlik "Osmanlı Devrinde Son Sadrazamlar" adlı eseri yayınlandı. Kullandığı ağdalı Osmanlıca nedeniyle eserlerinin etkisini ve yaygınlığını kısıtladı.
1953 yılında, hayatı boyunca topladığı kitap, yazı ve levha koleksiyonunu ve yirmi dosya kadar tutan vesikalarını İstanbul Üniversitesine bağışladı. Konağını ise İslami ilimlerde öğrenim görenleri barındıracak bir yurt olarak kendi adını taşıyan vakfa bağışladı.
1957'de İstanbul'da hayatını kaybeden İbnülemin Mahmut Kemal İnal, Merkezefendi Mezarlığı'na defnedildi.