سنة ١٢٥٥ ه‍ ، وارتجت البلاد عند سماع عزله فرحا وكاد أن لا يصدق بعضهم بذلك لشدة تمكنه من الولاة ، حتى ينقلون عن بعض الصالحين أنه يقول له : إنه يخدم ثلاثة أمراء يكون مع أولهم بمنزلة الإبن ، ومع الثاني بمنزلة الأخ ، ومع الثالث بمنزلة الوالد ، سمعنا ذلك من آخر مدة أحمد باشا.

وزينت البلاد عند عزله ولم يسمع بمثل ذلك في هذا القطر واتبع عمل الأفراح جميع البلدان والقبائل وحزن على عزله أفراد من خواص حاشيته ومن توفرت أرباحهم على يديه وأفراد قليلون من الأجانب ، ورام من له وجاهة منهم أن يتداخل في إرجاعه لمنصبه أو في الأقل أن يواجه الوالي كآحاد المتوظفين ، فامتنع الوالي وجعل أتباعه يرودون كل وجه لإرجاعه حتى سافر أحدهم إلى أوروبا وإلى الأستانة واجتمع برجال الدول وبذل في التوصل أموالا فلم يجد من يتداخل في توليته وزيرا في حكومة مختارة في إدارتها ، وحيث تيقن الوالي كثرة الأموال التي توصل إليها الوزير المذكور من أموال الأهالي والحكومة سيما الأموال التي أخذها إبنه الأكبر بتذاكر على المالية مكتوب بها يدفع فلان وزير المال مقدار كذا من المال لأمير الأمراء إبننا محمد في مصالح على يده الخ ، ويقبض الإبن المال ويمضي بخطه على القبض مع أنه لا وظيفة له رسمية تقتضي صرف تلك الأموال ، ومع عدم بيان الجهة المصروف فيها المال فأراد محاسبته ومحاسبة إبنه على أموال الحكومة فتبرأ الوزير خير الدين من مباشرة ذلك على ما جرت به العادة ، من أن صاحب الوزارة يباشر مثل ذلك مع كل المتوظفين وعقد لذلك مجلسا مخصوصا يرأسه ولي عهد الولاية الأمير أبو الحسن علي باي ، وأعضاؤه : المفتي الحنفي الشيخ أحمد بن الخواجة ، والقاضي المالكي الشيخ محمد الطاهر النيفر ، والوزير محمد ورشيد كاهية.

ووكلت الحكومة على طلب حقوقها الشيخ عمر بن الشيخ ، أحد كبار المدرسين بالجامع الأعظم ، وأرسل المجلس يدعو المطلوبين لسماع الدعوى كما أرسل الوزير خير الدين مكتوبا إلى الوزير السابق يعلمه فيه بعقد المجلس للتأمل في نازلة المطالب المتوجهة عليه وعلى إبنه وجوابه عنها ، فامتنع من الحضور ولما ألح عليه بالحضور أرسل إلى قنسل فرنسا يطلب حمايته وتوجيه أحد أعوانه ليحميه عند ذهابه للمجلس ، فتعجب القنسل من الطلب وأجابه بأنه لا يتداخل في أحكام البلاد سيما ولم يجر عليه ظلم يقتضي مثل ذلك ، ثم أرسل وكيلا عنه من أحد رعايا الأجانب فلما دخل إلى المجلس سأله الرائس : هل هو داخل تحت أحكام البلاد أم لا؟ فأجابه : بلا وتفاوض المجلس في قبوله وعدمه على تلك الصفة فظهر لهم أنه يجب أن يكون الوكيل داخلا تحت أحكام البلاد ، ليؤاخذ بأعماله وأقواله فيما يتعلق بموكله وفيما يعود إليه ، ولما علم الوزير خزنه دار بذلك أرسل إبنه الثاني محمد المنجي الذي هو بريء من جميع الأعمال السابقة وجعله وكيلا عن والده وأخيه ، وعلم ما هي مطالب الحكومة منهما وحيث علم أن الحجة قائمة عليهما ركن إلى طلب الصلح ، فصالحته الحكومة.