فلما كان الحال ما ذكر وأيست من الوالي بتونس في تأسيس التنظيمات ، سعيت في تحسين إدارة المملكة وتأمين راحة السكان بقدر الطاقة والإمكان مستعينا بالله وبمن كان من أهل المروءة من رجال الحكومة ، إلى أن آل أمري إلى الإضطرار إلى الخروج وأن ترتب عليه ما حصل لنا بعده من الصعوبات بمنع الناس من مخالطتنا ، ولم أتحصل على الحقوق البشرية الواجبة شرعا وطبعا.
مع أن ذلك وقع في حق رجل تقلب في سائر رياسات الحكومة ، وحصل على يده مصالح حسب الوسع ، ويسوغ له أن يقول حكاية للواقع أنه بإعانة الله وعنايته حمى وحده مدة وزارته جميع السكان من الظلم والتعدي عليهم ، بدليل أنه بعد خروجه من الخطة رجع الأمر لما كان عليه قبل ذلك لأن الوالي في الحكومة لا زال هو بذاته ، وكذلك رجال الحكومة الذين خدموا معه وهم الذين خدموا مع السيد مصطفى أيضا لا زالوا متوظفين ، وهؤلاء قسمان : عفيف في نفسه غير قادر على منع غيره من الظلم ، وظالم كان محجوزا بنا عن ظلمه فانطلق بخروجنا من الخطة ، هذا وأني لا زلت أقول إن تونس لا تستقيم بدون تنظيمات ، وأنها لا بد لإجرائها من الطريقة المار ذكرها وإلا فالتنظيمات في تونس بدون ما ذكر كالعنقاء إسم بلا مسمى ، فلا تغترن بقول من لا يدرك الحقائق والله تعالى يرشدنا وإياهم إلى ما يرضيه بمنه آمين انتهى.
وبما تقدم من انتقاد بعض التصرفات وجد أضداد الوزير خير الدين السبيل إلى إيقاع التنافر بينه وبين الوالي إلا مسألة القوانين فلم يعرجوا عليها ، غير أن ذلك لم يفدهم لأنه مدفوع بما تقدم شرحه والوالي على علم منه ، فلذلك نزعوا إلى أوجه أخرى وبيانها يستدعي بيان منشأها وأسبابها ، وحاصله أن الوزير خير الدين لما باشر الوظيفة بلقب وزير مباشر لم يكن له ضد في نقض أعماله إلا الوزير السابق مصطفى خزندار ، لكنه لم ينجح لتبصر الوالي فيه ومعرفة سائر المتوظفين والأهالي بتصرفاته التي نفروها ، حتى ذات خدمة الوالي في نفسه وقصره ، فكان الجميع يدا واحدة مع الوزير خير الدين ولما عزل الوزير السابق مصطفى خزندار وولي مكانه الوزير خير الدين واستقر أمره بعد الإنفصال معه على ما مر شرحه ، طمعت نفسه للرجوع إلى المنصب أو في الأقل مواجهة الوالي وإسقاط خير الدين عن الوزارة واستعان على ذلك بأفراد من الأجانب وبأحد خاصة الوالي وهو الوزير مصطفى بن إسماعيل ، واعتضد الجميع كل على حسب فوائده فتارة يقدحون في التصرفات العامة وإشاعة ذلك في الصحف الأجنبية ويبلغونها بذاتها أو بتعريبها للوالي بواسطة خاصته المذكور ، لكن لما رأوا عدم نجاح المقصود بذلك لأنه لا يروج على الأهالي لمشاهدتهم حسن إدارة الوزير ، رجعوا إلى إشهار أراجيف تتعلق بالسياسة الخارجية فمنها ما يرجع إلى تنفير الوالي وعائلته من الوزير خير الدين وأشهروا أن للمذكور اتفاقا سياسيا سريا مع الدولة العلية ، ومنها : ما يعود إلى تنفير الأهالي من الوزير المذكور فأشهر أن مراده تسليم البلاد للفرنسيس ، ومنها : ما يعود إلى تخويف أصدقاء الوزير خير الدين وعموم الناس فأشهر أن