ذلك مع عدم كبير الفائدة من إعانتها للدولة ، فأجابه الوزير : بأن الوالي لا يستطيع ربط نفسه بالكلام في عدم التداخل في الحرب ، ثم جاء قنسل الروسيا وأنذر ، واحتج بأن الوالي صرح بأنه لا يتداخل في الحرب ، فكذبه الوزير وأن الوالي لم يصرح بشيء ينزع حريته ، كما أن الرائد التونسي نشر من المقالات السياسية المنتصرة للدولة العلية ما هو مشهور ، وهو لا ينشر إلا ما يوافق مشرب الحكومة لأنه هو الصحيفة الرسمية لها ، والوزير هو الذي يشير بالمقاصد التي تنشر فيه ، فمن جميع ما تقدم اتخذه أضداد الوزير خير الدين سبلا لتنفير الوالي منه وإسقاطه من الوزارة ، فقالوا : إن وزير الحرب كان سبب طول مكثه في الآستانة السعي بما يضر بالوالي ، وأنه يكاتب الوزير خير الدين وهو لا يظهر مكاتيبه للوالي لأنها ضده ، وأن زيادة ميله للدولة العثمانية ظاهرة مما تقدم بيانه ، والوزير يقول : إن تأخر وزير الحرب لا علم له بسببه لأن واقعه في نفس الأمر هو ما تقدم شرحه ، وأنه لو تروى القائل في قوله لوجده غير صحيح ، لأنه لو كان بينهما شيء حقيقة للزم أن يأتي من وزير الحرب مكاتيب صورية ليطلع عليها الوالي ، ولما ساغ عدم إظهار ولا مكتوب واحد حتى يتفطن الوالي مما لا يفعله عاقل فدل ذلك على بطلان أهل التهمة وقد حققه الخارج ، كما يقول الوزير أن ما فعل مع الدولة العلية هو الواجب بمقتضى فرمان سنة ١٢٨٨ ه ، وهو الواجب ديانة ولا قصد إلا حفظهما ، ولكن لم يجب ذلك في السعاية بل أثرت في الوالي لأنه كان حصل قبيل تلك المدة نازلة إدعاء مصطفى بن إسماعيل على يوسف بن عطار أحد تجار اليهود بتونس أنه يطلبه بسبعة ملايين أو أزيد من جهة رقاع مالية ومصوغ أعطاها له للتجارة بها ، وأنكره المدعى عليه واستظهر وكيل مصطفى بن إسماعيل بحجة ثبت في الوزارة زورها على ما يسرد تفصيله في المطلب الثامن ، وأراد الطالب أن يكون هو الخصم والحكم ورفع المطلوب أمره للوزير بهروبه إلى قنسلاتو إنكلتره وحمايتها له ، وتداخل القنسل في النازلة له فرأى الوزير أن يعقد لفصلها مجلسا وأنف من ذلك الطالب ووافقه الوالي وامتنع الوزير من الحكم في النازلة تجنبا من الكلام فيها من الجهتين ، فازداد حنق مصطفى بن إسماعيل من الوزير.
ومن ذلك التاريخ اشتدت الوشاية وأشاعوا أن الوالي نفر من الوزير بسبب ما تقدم ، وأنه بلغه عدم إرتضاء رؤساء الحكومة بسيرة الوزير مستندين إلى ما سبقت الإشارة إليه ، ثم أشاعوا أن الوزير يريد تسليم البلاد إلى فرنسا مستندين بسكة الحديد المار ذكرها وإلى عدم إرسال العسكر إلى إعانة الدولة العثمانية ، وازداد إشاعة هذا بعد انفصال الوزير خير الدين عن الوزارة لقصد تنفير الأهالي منه ، حيث أن الوجه الأول لم يؤثر فيهم والوزير يجيب بنفس الوقائع وأدلتها مما وقع في الخارج واستوفينا ذكره ، وكثر الكلام في هذه المنحى إلى أن خاطب الوزير الوالي بحكاية مضمون ما تقدم شرحه من كثرة ما أشيع في شأنه ، وأن الإشاعات صادرة من خاصته وأن ذلك مما يقدح في نفس المنصب ويعطل الإدارة ، وأنه يلزم أحد شيئين : إما توثق الوالي به ورفع العوائق ، أو استعفاؤه. وقد كان الوالي إذ ذاك