والملوك حتى من العباسيين يرمّون فيه إلى أن التهمه الحريق الأول سنة (٤٦١ ه) فذهبت محاسنه ، وذلك في حرب المصريين المغاربة أي الفاطميين مع العراقيين فأحرقوا دارا مجاورة للجامع فتعلقت النيران به فدثرت محاسنه ، وتشوه مظره واحترقت سقوفه المبطنة بالذهب وفصوصه ، وسقطت القبة كما قال الذهبي فأعيدت إلى ما كانت ، واحترق ثانية سنة ٧٤٠ وكان الأصل فيه كما قال ابن مفلح من النصارى بدمشق ، واشتهر ذلك عنهم ، وكتب عليهم محضر به ، ونقضت مأذنة عيسى وجددت من أموالهم لكونهم اتهموا بحريقها بإقرار بعضهم. وهذا الحريق عم جميع الجامع وما حوله من الأسواق. وفي سنة (٧٥٣) كان ثالث حريق وذلك أنه وقع حريق عند باب جيرون فاتصل بالباب بالنحاس الأصفر فنزعوه وكسروا خشبه وكان من نحاس دمشق ومعاملها. وكان في سنة (٧٩٥) حريق سوق الدهستان وسوق الورافين والساعات ونصف المعزية من شرقي الجامع ، ثم أعيد إلى ما كان عليه. ورابع حريق كان في سنة (٨٠٣) عند حضور تيمور وحرقت خزانة المصاحف والكتب فأعيد سنة (٨٠٥) إلى قريب ما كان عليه وخامس حريق كان سنة (٨٨٤).
وأصيب بالزلازل مرات وتعطلت جوانبه وتداعت بعض سقوفه ومنها زلزلة سنة (٥٩٧) فرمي بعض المنارة الشرقية وسقط ١٦ شرفة وتشققت قبة النسر وآخرها زلزال سنة (١١٧٣) فخربت قبة النسر والرواق الشمالي وأعيد بناؤهما من قابل. حتى إذا كانت سنة (١٣١٠) سرت النار إلى جزوع سقوفه فالتهمتها في أقل من ثلاث ساعات فدثر آخر ما بقي من آثاره ورياشه ، وحرق فيه مصحف كبير بالخط الكوفي كان جيء به من مسجد عتيق في بصرى ، وكان الناس يقولون إنه المصحف العثماني ، وجمعت أموال من إعانات وغيرها فنجز القسم الشرقي في سنة (١٣١٧) وفي سنة (١٣٢٠) نجز القسم الغربي وظل العملة في بنائه الذي أرجع إلى ما كان عليه بالجملة عشر سنين وصرف عليه ستون ألف ليرة عثمانية ذهب عدا من تطوعوا للعمل فيه بلا أجر. ولم يبق من محاسن الجامع القديمة إلا جدرانه وبعض كتابات من عهد السلجوقيين والأيوبيين والمماليك على بعض سواريه. وفي دار الآثار بدمشق أيضا حجران كتبابا لخط الكوفي بعمارة قسم من الجامع ، في القرن الخامس وصورتهما :