فى أواخر القرن الأول الهجرى ، كان الوليد بن عبد الملك أول من أقام أعمدة فى المسجد. وهو الذى أمر بتغطية رءوس الأعمدة بطبقة من الذهب ، وهو الذى أنفق كثيرا على زينات المسجد وزخرفاته ، ويروى أن الزينات الذهبية كلها ، التى أهداها الوليد بن عبد الملك للمسجد جاءت من طليطلة فى إسبانيا ، وجرى نقلها على ظهور البغال عبر كل من إفريقيا والجزيرة العربية.
فى العام ١٣٩ الهجرى ، قام أبو جعفر المنصور بتوسعة الجانبين الشمالى والجنوبى من المسجد الحرام ، وجعله ضعف الحجم الذى كان عليه من قبل ، الأمر الذى جعل المسجد يشغل حاليا مساحة طول ضلعها سبعة وأربعين رمحا ونصف الرمح. كما أمر أبو جعفر المنصور برصف الأرض المجاورة لبئر زمزم بالرخام.
أضاف الخليفة المهدى إلى حجم المسجد فى فترتين مختلفتين ، كانت الإضافة الأخيرة فى العام ١٦٣ الهجرى ، وقد اشترى الخليفة المهدى الأرض اللازمة لهاتين الإضافتين ، أو إن شئت فقل : التوسعتين من المكيين ، بأن دفع لهم خمسة وعشرين دينارا عن كل رمح مربع. والخليفة المهدى هو الذى جلب الأعمدة من مصر ، كما سبق أن قلت. هذه التحسينات التى بدأها الخليفة المهدى ، أكملها ولده الهادى ، وجرى عمل السقف الخاص بالبهو المعمد من الخشب الهندى ، وجرى إنزال الأعمدة التى جلبت من مصر على بعد مسافة مسير يوم واحد عن جدة من ناحية الشمال ، لكن بسبب بعض المشكلات التى ثارت لم يجر نقل الأعمدة كلها إلى مكة ، فقد جرى ترك بعض من هذه الأعمدة على الرمل على شاطئ البحر. وأنا أشير إلى ذلك لتنوير الرحالة المستقبليين ، الذين إذا ما وجدوا هذه الأعمدة ، لا يحسبونها بقايا مستوطنة أو مستعمرة مصرية أو يونانية قديمة.
يبدى مؤرخو مكة ملاحظة ، وفى شىء من الاندهاش ، مفادها أن الخليفة هارون الرشيد ، على الرغم من زيارته الكعبة مرات عدة ، فإنه لم يضف أى شىء إلى المسجد الحرام ، اللهم باستثناء منبر جديد.