وفي اليوم نفسه أرسل له مكتوبا آخر نصه : «أما بعد السلام عليكم ورحمة الله فإنه بلغنا كتابكم المؤرخ في ٢٥ الشهر الفارط متضمنا ما نحن على ثقة منه من سلوككم الطريق المستقيم في أقوالكم وأعمالكم وتحرزكم في الاجتماع من أن ينسب إليكم غير ما قصدتموه ولا يستغرب ذلك من مثلكم ونرجو الله أن يجمعنا بكم وأنتم على حال كمال ودمتم بحفظ الله والسلام».

وقد رجع صاحب الترجمة إلى تونس بعد الالحاح الشديد عليه من أصدقائه فوجد الحال متغيرا وملامح الوزير تظهر الشر ومع ذلك فقد أبلغه صاحب الترجمة ما رآه وسمعه في باريس بخصوص المسألة التونسيّة وأراء رجال السياسة فيها ، ومن جملة ما بلّغه أن الأخبار رائحة هناك بأن القنصل أقنعه بمساعدة فرنسا على مرغوباتها من ضم تونس إليها وفي مقابلة ذلك تضمن للوزير ولاية العهد على الامارة واستيلائه عليها بعد سيده ونصحه بأن لا يغتر بهذه الترهات فإن القنصل إذا حصل على مرغوبه لا يوفي وعده للوزير ولا تعود الخسارة إلّا على البلاد وأهلها ، وقد حقق الزمن حدس السيد بيرم فإنه لما دخلت فرنسا في تونس سنة ١٢٩٨ ه‍ لم تطل مدتها فيها حتى عزلت مصطفى بن إسماعيل عن الوزارة وأخرجته من البلاد بالمرة ولم نوف له بما وعدته به بل نظرت إليه نظر الخائن ، وكثيرا ما تكلمت جرائدها وأرباب الوجاهة فيها لتجريده عن نيشان اللجيون دونور الفرنساوي وهو حامل أول درجة منه ، وبقي يتقلب متغرّبا في البلدان تقذفه أمواج الذل والسؤال بعد أن صرف ما ادّخره أيام عزه من الأموال الطائلة وأصبح :

إلى أن جاءت به المقادير إلى القسطنطينية حيث تغاضت الدولة العثمانيّة عن ذنوبه وأبقته يتنعم بلذيذ الحياة ويتحسر على ماضي عزه وغبن صفقته.

أما صاحب الترجمة فإنه بعد عودته إلى تونس من مأموريته توجه إلى (المرسى) للسلام على ولي عهد الامارة الأمير الحالي السابق ذكره ، فوجد الأمير المشار إليه في مركبته أمام محطة السكة الحديد فاركبه معه وسارا إلى بستان الأمير فكبر هذا الأمر على مصطفى بن إسماعيل وأمر صاحب الترجمة بالكف عن التردّد على ولي العهد ، وكثرت الدلائل على سوء نيّة الوزير نحو السيد بيرم وتغلب دسائس موسيو «رستان» ضدّه حتى نصحه بعض الأصدقاء من خواص حاشية الباي بالسفر خارج المملكة لأن بقاءه في البلاد فيه خطر عليه ، فطلب بعد عيد الفطر التوجه لأداء فريضة الحج خصوصا وقد تهدّده الوزير بأنه إذا شاع الخبر الذي كان أعلمه به بخصوص مساعيه لولاية الامارة يلقيه تحت أعباء المسؤوليّة الثقيلة فامتنع الوزير من اعطاء الرخصة بالسفر وقد توسط حينئذ السيد الشريف نقيب الاشراف السابق في تونس للحصول على تلك الرخصة وبين للوزير عدم جواز منع المسلمين من أداء فريضة الحج وزيارة النبي صلى‌الله‌عليه‌وسلم ، وللسادة الاشراف في تونس النفوذ الكبير والكلمة المسموعة فالتزم الوزير بالاجابة