وحصلت له كائنة قضت أن تقبض عليه الحكومة العثمانية وعلى ولده الشيخ توفيق وتنفيهما إلى جزيرة رودس. وخلاصة هذه الحادثة أن إمام مسجد الكيزواني في محلة العقبة ، ويقال له الشيخ عبد العزيز العلاني ، كان لا يقوم بأمر المسجد كما يجب ، فتحرك أهل المحلة عليه وأخذوا يسعون في رفعه من الإمامة وقطع علاقاته بوقف هذا الجامع ، فلاذ الإمام برجل كان ساكنا في هذه المحلة منفيا من قبل السلطان عبد الحميد خان اسمه رضا بك ياقولي ، فتداخل هذا بالأمر مع أهل المحلة فلم يفد شيئا ، وعزله متولي الجامع بإصرار أهل المحلة ، فعندئذ كلف رضا بك إمام المسجد أن يقيم دعوى على المتولي وأن مثله لا يعزل إلا بموجب شرعي وبعزل القاضي. وترامى الإمام علي رضا بك أن يكلم الشيخ محمد الكلّاوي المترجم حينما يزور رضا بك ، وكان صديقا له ، أن يوكل له شخصا يطمئن هو له ليدافع عن قضيته ، فدعا رضا بك للشيخ محمد الكلّاوي وللشيخ محمد البيانوني لمنزله وكلفهما مساعدة العلاني وأنه هو يقوم بما تحتاجه هذه الدعوى من نفقات المرافعة ، ووضع أهل المحلة محاميا من قبلهم ، وأخذت هذه القضية دورا مهما وتحزب للطرفين أناس ، وكان رضا بك كل يومين أو ثلاثة يستدعي المترجم لمنزله ويذاكره في هذه القضية وسير المرافعة فيها ، فيوما كان عنده فتذاكرا في الشؤون العامة ، فجرهم الحديث لأسباب قيام الأرنوؤط وقتئذ (ورضا بك هو من عظماء الأرنؤوط) وما يجريه الاتحاديون في الآستانة وغيرها من الخروج عن حدود الشرع وتقبلهم للمدنية الغربية بجميع حذافيرها وعملهم بقوانينها ونبذهم الشريعة الغراء بتاتا.

فقال له المترجم : لو كان هؤلاء الثائرون قائمين لإعلاء كلمة الله وتأييد الشريعة المحمدية لكان قيامهم مشروعا ، وحيث إن قيامهم ليس لهذه الغاية فإنهم لا ينجحون ولا يتوفقون. فأجابه : إن قيامهم ليس إلا لانتهاك حرمات الشرع. وأشار عليه أن يكتب ثلاث عرائض : الأولى تتضمن أن ترك العمل بالشريعة الغراء والاستعاضة بالقوانين الأوربوية لا يجوز شرعا ، وعليه نطلب إبطال هذه القوانين والرجوع إلى ما أمر به الشرع المبين ، إذ لا يوجد شيء لا يكون قد نص عليه في الفقه الإسلامي ، وإن كنتم غير قادرين على هذا العمل فإن هناك من العلماء من يؤسس لكم قانونا على وفق الشرع ، وإن لم تعملوا به فإنا سنقاتلكم إلى النهاية.

فحررت العريضة بهذا المآل ، وأرسلت مع شخص مخصوص من قبل رضا بك لتسلم