لقد تصاعدت حمّى الخلاف والعداء بين ابن الزبير وبين بني هاشم حين لم يبايعه منهم أحد إلاّ عبيد الله بن عليّ بن أبي طالب وعبد الله بن جعفر فقد بايعاه كما رواه البلاذري ، ولم يتركهم ابن الزبير بمعزل عنه ، إذ لم يقنعه أنّهم لم يبايعوا عبد الملك بن مروان ، وازداد حنقاً وغيظاً حين هتف المختار بالكوفة باسم محمّد بن الحنفية ، فصار يصب جام غضبه على ابن عباس وعلى ابن الحنفية ، لأنّهما الرأسان المنظوران يومئذ.
وليس من شك في معرفة الناس بامتناعهما عن مبايعته وتلك المعرفة تفسد عليه ما يرومه من تولي خلافة المسلمين ليدعى بأمير المؤمنين ، فصار يشتد عليهما ، ويشهّر بهما على المنبر بحضورهما وفي غيابهما ، وكان نصيب ابن عباس أوفى ، وقد مرّت بنا بعض الشواهد على ذلك ، ولأنه عكفت عليه الناس يمتارون من علمه ، فهو الوحيد الّذي كان يرد الناس منه على وادٍ رحب في شتى فنون المعارف ، وحتى الخوارج فقد كانوا يسألونه ويكاتبونه في معرفة الأحكام ، وستأتي في الحلقة الثالثة مسائل نافع بن الأزرق الخارجي في غريب القرآن كما ستأتي أيضاً مكاتبات نجدة بن عويمر ـ عامر ـ الخارجي في معرفة أحكام الخمس وأطفال المشركين وسهم النساء والمماليك في غنائم الحرب ، ولما كان للخوارج قوّة يخشاها ابن الزبير إذ كانوا معه في أيام يزيد بن معاوية ثمّ نبذوه لما رأوا حرصه على الإمارة ، فهو يخشى أن يدعوهم ابن عباس يوماً إلى الثورة عليه ، كما كان يخشى من محمّد بن الحنفية أن تتسع دعوة المختار إلى إمامته فينهض لقتاله ، وغاب عنه