على بغداد ابنه موسى الهادي واستصحب معه ابنه هارون الرشيد ، وسار على الموصل والجزيرة وعزل عنها عبد الصمد بن علي في مسيره ذلك.

وقال ابن جرير في حوادث سنة ١٦٣ : وفي هذه السنة سنة مسير المهدي مع ابنه هارون عزل المهدي عبد الصمد بن علي عن الجزيرة وولى مكانه زفر بن عاصم الهلالي ، والسبب في عزله أن المهدي سلك في سفرته هذه طريق الموصل وعلى الجزيرة عبد الصمد ابن علي ، فلما شخص المهدي من الموصل وصار بأرض الجزيرة لم يتلقه عبد الصمد ولا هيأ له نزلا ولا أصلح له قناطر فاضطغن ذلك عليه المهدي ، فلما لقيه تجهمه وأظهر له جفاء ، فبعث إليه عبد الصمد بألطاف لم يرضها فردها عليه وازداد عليه سخطا وأمر بإقامة النزل له فتعبث في ذلك وتقنع ولم يزل يربي ما يكرهه إلى أن نزل حصن مسلمة فدعا به وجرى بينهما كلام أغلظ له فيه القول المهدي ، فرد عليه عبد الصمد ولم يحتمله فأمر بحبسه وعزل عن الجزيرة ولم يزل في حبسه في سفره ذلك ، وبعد أن رجع رضي عنه وأقام له العباس بن محمد النزل. قال ابن الأثير : ولما حاز المهدي قصر مسلمة بن عبد الملك قال العباس بن محمد بن علي ( هو عم المهدي كما في ابن خلدون ) للمهدي : إن لمسلمة في أعناقنا منة ، كان محمد بن علي مر به فأعطاه أربعة آلاف دينار وقال له : إذا نفدت فلا تحتشمنا ، فأحضر المهدي ولد مسلمة ومواليه وأمر لهم بعشرين ألف دينار وأجرى عليهم الأرزاق وعبر الفرات إلى حلب وأرسل وهو بحلب فجمع من بتلك الناحية من الزنادقة فجمعوا فقتلهم وقطع كتبهم بالسكاكين ( وفي ابن جرير بعث وهو بحلب عبد الجبار المحتسب لحلب من بتلك الناحية من الزنادقة ففعل وأتاه بهم وهو بدابق فقتل جماعة منهم وصلبهم ، وأتى بكتب من كتبهم فقطعت بالسكاكين ثم عرض بها جنده وأمر بالرحلة ) وسار عنها ( عن حلب أو دابق ) مشيعا لابنه هارون الرشيد حتى جاز الدرب وبلغ جيحان ، فسار هارون ومعه عيسى بن موسى وعبد الملك بن صالح والربيع والحسن بن قحطبة والحسن وسليمان بن برمك ويحيى بن خالد بن برمك ، وكان إليه أمر العسكر والنفقات والكتابة وغير ذلك ، فساروا فنزلوا على حصن سمالوا فحصره هارون ثمانية وثلاثين يوما ونصب عليه المجانيق ففتحه الله عليهم بالأمان ووفى لهم وفتحوا فتوحا كثيرة ، ولما عاد المهدي من الغزاة زار بيت المقدس ومعه يزيد بن منصور والعباس بن محمد بن علي والفضل