قال في وفيات الأعيان « ١ / ٨٥ » : « قدم يحيى بن أكثم قاضياً على البصرة من خراسان من قِبَل المأمون في آخر سنة ٢٠٢ ، وهو حَدَث سِنُّهُ نيف وعشرون .

فلما قدم المأمون بغداد في سنة أربع ومائتين قال ليحيى : إختر لي من أصحابك جماعة يجالسونني ويكثرون الدخول إلي ، فاختار منهم عشرين ، فيهم ابن أبي دؤاد » .

وفي تاريخ بغداد « ١٤ / ٢٠١ » : « وغلب على المأمون حتى لم يتقدمه أحد عنده من الناس جميعاً ، وكان المأمون ممن برع في العلوم ، فعرف من حال يحيى بن أكثم وما هو عليه من العلم والعقل ما أخذ بمجامع قلبه ، حتى قلده قضاء القضاء ، وتدبير أهل مملكته ، فكانت الوزراء لا تعمل في تدبير الملك شيئاً ، إلا بعد مطالعة يحيى بن أكثم ، ولا نعلم أحداً غلب على سلطانه في زمانه ، إلا يحيى بن أكثم ، وابن أبي دؤاد » .

وفي تاريخ اليعقوبي « ٢ / ٤٦٥ » : « وشى يحيى بن أكثم بالمعتصم إلى المأمون ، وقال له : إنه بلغني أنه يحاول الخلع ، فوجه إليه يأمره بالقدوم » .

ولم تنفع احتياطات المأمون ، فغلب بعده أخوه المعتصم على ابنه الضعيف العباس وأخذ منه الخلافة ، وكان أول ما فعله المعتصم أن عزل يحيى بن أكثم ، ونصب بدله صديقه ابن أبي دؤاد ، ونقل الخلافة من أولاد المأمون الى أولاده ، فتولاها ابنه الواثق ، ثم أخوه المتوكل !

قال ابن خلكان في وفيات الأعيان « ١ / ٨٥ » : « ولما ولي المعتصم الخلافة جعل ابن أبي دؤاد قاضي القضاة ، وعزل يحيى بن أكثم » .