Vefatı Mehmed Zâhid Efendi (Rh.A), ömrünün son yıllarında rahatsız idi; ayakta gezmesine rağmen; şiddetli ağrılarından muzdaribdi. 1979 yazında uzun zaman kalmak üzere gittiği Hicaz'dan, ağır hasta olarak 1980 Şubat'ında dönmek zorunda kalmıştı. 7 Mart 1980'de ameliyata girdi ve midesinin üçte ikisi alındı.
Ameliyattan sonra tedricen düzeldi, hatta 1980 Ramazanı'nda hiç aksatmadan oruç tuttu.
Hatimle teravih kıldı, vaaz etti, yazın Balıkesir Ilıca'ya, Çanakkale Ayvacık sahiline ağrıyan ayakları için götürüldü, hac mevsimi gelince de Hicaz'a gitti. Fakat ameliyata sebep olan rahatsızlığı nüks etmiş ve ağrılar tekrar başlamıştı. Haccı güçlükle ifadan sonra, 6 Kasım 1980'de çok ağır hasta olarak İstanbul'a döndü. Tam bir hafta sonra 13 Kasım 1980'de (5 Muharrem 1401), Perşembe günü öğleye yakın, dualar, Yâsin'ler, tesbih ve gözyaşları ile uyur gibi bir halde iken ahirete irtihal eyledi.
Cenaze namazı 14 Kasım 1980 Cuma günü İstanbul Süleymaniye Camii'nde muhteşem, mahzun, vakur ve edepli bir cemm-i gafir tarafından kılınarak, mübarek vücudu, Kanûnî Süleyman Türbesi arkasında, kendisinden feyz aldığı hocaları ve üstadlarının yanındaki istirahatgâhına defnolundu.
Bu esnada Süleymaniye, Şehzadebaşı, Fatih ve çevrelerinde trafik durmuş, Süleymaniye'nin içi ve avlusu kâmilen dolduğu gibi, cemaat sokaklara taşarak Esnaf Hastahanesi'nin yanına kadar uzanmıştı. Vefatını duyanlar içinde Anadolu'nun en uzak şehirlerinden olduğu kadar Avrupa'dan gelenler de vardı. Uzakta bulunan muhiblerinden çoğu da vaktinde haber alamama yüzünden cenazesine yetişememişlerdi.
Vefat tarihi olan 13 Kasım 1980 tarihli takvim yapraklarında tevâfukan çok mânidar ibareler yer alıyordu. Meselâ bunların birindeki şu parça ne kadar şâyân-ı taaccübdür:
Arkamdan Ağlama
Öldüğüm gün tabutum yürüyünce
Bende bu dünya derdi var sanma!
Bana ağlama,
"Yazık, yazık!" "Vah, vah!" deme!
Şeytanın tuzağına düşersen vah vahın sırası o zamandır.
Yazık yazık asıl o zaman denir.
Cenâzemi gördüğün zaman "Elfirak, elfirak!" deme!
Benim buluşmam asıl o zamandır.
Beni mezara koyunca elvedâ demeğe kalkışma!
Mezar cennet topluluğunun perdesidir.
Mezar hapis görünür amma,
Aslında canın hapisten kurtuluşudur.
Batmayı gördün ya, doğmayı da seyret!
Güneşle aya batmadan ne ziyan gelir ki?
Sana batma görünür amma
Aslında o doğmadır, parlamadır.
Yere hangi tohum ekildi de yetişmedi?
Neden insan tohumu için
Bitmeyecek, yetişmeyecek zannına düşüyorsun?
Hangi kova suya salında da dolu olarak çekilmedi?
Can Yusuf'un kuyuya düşünce niye ağlarsın?
Bu tarafta ağzını yumdun mu, o tarafta aç!
Çünkü artık hay-huy'un, Mekânsızlık aleminin boşluğundadır.