وفاته بطوس، في يوم الاثنين رابع عشر جمادى الآخرة، سنة خمسٍ وخمسمائة (٥٠٥ هجرية)؛ وعمره خمس وخمسون سنة.

قال أبو الفرج بن الجوزي في كتاب "الثبات عند الممات": "قال أحمد أخو الإمام الغزالي: لما كان يوم الاثنين وقت الصبح، توضأ أخي أبو حامد وصلى وقال: عليَّ بالكفن، فأخذه وقبَّله، ووضعه على عينيه، وقال: سمعًا وطاعة للدخول على الملك، ثم مدَّ رجليه، واستقبل القبلة، ومات قبل الإسفار، قدَّس الله روحه".

هذا وقد رثاه الأديب أبو المظفر محمد الأبيوردي، الشاعر المشهور، بأبيات فائية منها:

مضى وأعظمُ مفقودٍ فُجِعْتُ بِه ... من لا نظيرَ لهُ في الناسِ يخلُفُه

وتمثَّل الإمام إسماعيل الحاكمي بعد وفاته بقول أبي تمام من جملة قصيدة مشهورة له:

عجبتُ لصبري بعدَهُ وهوَ ميتٌ ... وكنتُ امرءًا أبكي دمًا وهوَ غائبُ

على أنها الأيامُ قد صِرْنَ كلُّها ... عجائبَ، حتى ليس فيها عجائبُ

وقد دُفن الغزالي ﵀ بظاهر الطابرّان، وهي قصبة طوس، رحمه الله تعالى.