بي إليك ! قال صدقت يا جعفر ، انصرف آمناً ، فإني لا أقبل فيك قول أحد ! قال وجعل يحيى يحتال في إسقاط جعفر !

قال النوفلي : فحدثني علي بن الحسن بن علي بن عمر بن علي عن بعض مشايخه وذلك في حجة الرشيد قبل هذه الحجة قال : لقيني علي بن إسماعيل بن جعفر بن محمد فقال لي : ما لك قد أخملت نفسك ، ما لك لا تدبر أمور الوزير ! فقد أرسل إليَّ فعادلته وطلبت الحوائج إليه ، وكان سبب ذلك أن يحيى خالد قال ليحيى بن أبي مريم : ألا تدلني على رجل من آل أبي طالب له رغبه في الدنيا فأوسع له منها ! قال : بلى أدلك على رجل بهذه الصفة ، وهو علي بن إسماعيل بن جعفر ، فأرسل إليه يحيى فقال : أخبرني عن عمك وعن شيعته والمال الذي يحمل إليه ؟ فقال له : عندي الخبر وسعى بعمه ! فكان من سعايته أن قال : من كثرة المال عنده أنه اشترى ضيعه تسمى اليسيرة بثلاثين ألف دينار ، فلما أحضر المال قال البايع : لا أريد هذا النقد ، أريد نقد كذا وكذا ، فأمر بها فصبت في بيت ماله ، وأخرج منه ثلاثين ألف دينار من ذلك النقد ووزنه ، في ثمن الضيعة !

قال النوفلي قال أبي : وكان موسى بن جعفر عليهما‌السلام يأمر لعلي بن إسماعيل ويثق به ، حتى ربما خرج الكتاب منه بعض شيعته بخط علي بن إسماعيل ، ثم استوحش منه ، فلما أراد الرشيد الرحلة إلى العراق بلغ موسى بن جعفر أن علياً بن أخيه يريد الخروج مع السلطان إلى العراق فأرسل إليه مالك والخروج مع السلطان؟! قال : لأن عليَّ ديناً ، فقال : دينك عليَّ . قال : فتدبير عيالي ؟! قال : أنا أكفيهم ، فأبى إلا الخروج ، فأرسل إليه مع أخيه محمد بن إسماعيل بن جعفر بثلاث مأة دينار