فقيل له : «يأمير المؤمنين ، لقد باعدت بين قربهما» فتوفّى يزيد بالقيروان ودفن فى مقبرة باب سالم ، ثم وجّه هارون إلى إفريقية روح ، فمات ودفن إلى جانبه ، فقبرهما فى موضع واحد عليهما ساريّة مكتوبة فيها أسماؤهما ، وقد ذهب ما كان على قبرهما من بناء ، لأنّ بنى الأغلب هدموا ما كان على قبريهما ، ومنها الأعمدة التى تحت مصلىّ العيد ، وأكثر الناس يعرفون قبريهما ويقفون عليهما للعظة بما كانا فيه من السّلطان والقدرة. ولمّا أن هزم عبد الله ابن علىّ ، عمّ أبى جعفر ، صار إلى البصرة إلى أخيه سليمان بن على ، فأخفاه عنده ، فعزل أبو جعفر عمّه سليمان عن البصرة وولّى عليها سليمان بن يزيد بن المهلّب وصيّره مع روح بن حاتم فى سبعة آلاف ... البصرة حتى يظفر بعمّه عبد الله بن على ، وأمرهما أن يخ ... سفيان يلاطف آل سليمان ويدخل عليهم ويؤنسهم إلى أن دخل يوم ، فقالوا له : «سلّم على شيخ بنى هاشم» قال : «ومن هو؟» قالوا : «عبد الله بن على» فسلّم عليه وصافحه وأمسك بيده ، فقال له : «خلّ عن يدى» فقال : «ولا والله لا خلّيت عن يدك حتى ترى وجه أبى جعفر» فقالوا إليه ليخلّصوه منه ، واتّصل الخبر بروح فجاء بأصحابه وأحاط بالقصر وهو يقول : «لئن نال سفيان منكم مكروه لا يستقرّ بكم القصر». فوصل إلى أبى جعفر على يدى روح ، وتوفى عيسى ابن موسى ولىّ عهد المنصور بالكوفة سنة سبع وستين ومائة ، وعلى الكوفة روح بن حاتم ، فأشهد على وفاته القاضى والوجوه لمكانه من دولة المنصور ، ونظر رجل إلى روح بن حاتم واقفا فى الشمس عند باب المنصور ، فقال له : «لقد طال وقوفك فى الشمس!» فقال لى روح : «ليطول مقامى فى الظل».

ومات ابن الروح فدخل عليه أصحابه ، وهو ذكىّ البال ضاحك السنّ ، فتوقّفوا عن تعزيّته ، فعرف ذلك منهم ، فأنشأ يقول :

يروى عن عبد الرحمن القصير قال : رأيت أربعة ما رأيت فى الدّنيا مثلهم ، رأيت ابن عثمان بالبصرة فما رأيت فى الدّنيا مثله ، ورأيت الأوزاعى بالشّام فما رأيت فى الدنيا