وقال ابن الجوزي فيما حكاه عنه سبطه : ليس العجب من قتال ابن زياد للحسين (ع) وانما العجب من خذلان يزيد وضربه بالقضيب ثنايا الحسين وحمله آل الرسول (ص) سبايا على اقتاب الجمال ، وذكر اشياء من قبيح ما اشتهر عنه ثم قال : وما كان مقصوده إلا الفضيحة ، ولو لم تكن في قلبه احقاد جاهلية واضغان بدرية لاحترم الرأس الشريف المبارك واحسن الى آل الرسول (ص). وقال نوفل بن ابي الفرات : كنت عند عمر بن عبد العزيز فقال رجل : امير المؤمنين يزيد. فقال عمر : تقول امير المؤمنين وامر به فضرب عشرون سوطا.
ولإسرافه في المعاصى خلعه أهل المدينة ، فقد اخرج الواقدي من طرق عديدة أن عبد الله بن حنظلة وهو غسيل الملائكة قال : والله ما خرجنا على يزيد حتى خفنا أن نرمى بالحجارة من السماء وخفنا أن الرجال تنكح الأمهات والبنات والأخوات وتشرب الخمر وتدع الصلاة.
فبعد اتفاقهم على فسقه اختلفوا في جواز لعنه بخصوص اسمه فأجازه قوم منهم ابن الجوزي ونقله عن احمد بن حنبل وغيره ، فان ابن الجوزي قال في كتابه المسمى بالرد على المتعصب العنيد المانع من لعن يزيد : سألني سائل عن يزيد بن معاوية؟ فقلت : يكفيه ما به. فقال أيجوز لعنه؟ قلت : قد أجازه العلماء الوارعون منهم احمد بن حنبل ، فانه ذكر في حق يزيد ما يزيد عليه اللعنة.
ثم روى ابن الجوزي عن القاضي ابن يعلى أنه روى في كتابه المعتمد من الأصول باسناده الى صالح بن احمد بن حنبل قال : قلت لأبى ان قوما ينسبوننا إلى تولى يزيد بن معاوية. فقال : يا بني هل يتولى يزيد أحد يؤمن بالله ولم لا يلعن من لعنه الله تعالى في كتابه فقلت : في أي آية؟ قال : قوله تعالى «وهل نسيتم أن توليتم أن تفسدوا في الأرض وتقطعوا أرحامكم اولئك الذين لعنهم الله فأصمهم وأعمى أبصارهم» فهل يكون فسادا أعظم من القتل.
والحديث الذي رواه مسلم أنه وقع من ذلك الجيش من القتل والفساد