وكان المأمون طلب من يحيى بن أكثم أن يختار له ندماء خاصين ، فاختار له مجموعة منهم ابن أبي دؤاد ، الذي فاق ابن أكثم وتسلط على المأمون ، ثم دبَّر الخلافة للمعتصم وقتل ابن المأمون ، ثم دبرها للواثق ، وبعده للمتوكل .

وحكم ابن أبي دؤاد نحو عشرين سنة ، في خلافة المعتصم والواثق وقسم من خلافة المتوكل ، ثم غضب عليه المتوكل فعزله وأعاد خصمه ابن أكثم ، وأيد ذلك أحمد بن حنبل ، لأن ابن أكثم كان يتقرب اليهم بالقول بعدم خلق القرآن .

وقال الخطيب في تاريخ بغداد « ١٤ / ٢٠١ » : « سمعت يحيى بن أكثم يقول : القرآن كلام الله ، فمن قال مخلوق يستتاب ، فإن تاب وإلا ضربت عنقه » !

قال المسعودي في مروج الذهب « ٤ / ١٤ » : « وفي سنة تسع وثلاثين ومائتين رضي المتوكل عن أبي محمد يحيى بن أكثم ، فأُشخص الى سر من رأى وولي قضاء القضاة ، وسخط على أحمد بن أبي دُواد وولده أبي الوليد محمد بن أحمد ، وكان على القضاء ، وأخذ من أبي الوليد مائة ألف دينار وعشرين ألف دينار ، وجوهراً بأربعين ألف دينار ، وأحضر إلى بغداد » .

وفي تاريخ بغداد « ١ / ٣١٤ » : « عزل المتوكل أبا الوليد محمد بن أحمد بن أبي دؤاد .. ووليها يحيى بن أكثم لسبع بقين من شهر رمضان سنة سبع وثلاثين ومائتين » .

لكن لم يطل رضا المتوكل على ابن أكثم ، ففي الكامل لابن الأثير « ٧ / ٧٥ » : « في هذه السنة « ٢٤٠ » عَزل يحيى بن أكثم عن القضاء ، وقبض منه ما مبلغه خمسة وسبعون ألف دينار ، وأربعة آلاف جريب بالبصرة » !