ولكن فيما بعد ، لسبب ما تراجعوا عن عقابهم بهذه الصورة ، وقرروا تأديبهم ومجازاتهم بصورة أخرى ، وذلك بأن يكونوا مهانين ومحقرين من قبل القبائل الأخرى ، وألا تضمهم أرض واحدة معها ، وألا يختلطوا بالقبائل الأخرى بالزواج وغيره ، وحتى إذا سكنوا فى أرض قبيلة من القبائل عليهم أن يدفعوا لهم مقدارا من المال باسم الزكاة ، وأن يبدل اسم قبيلة عبس باسم هيتم الذى يعنى الذليل الحقير. ومن ذلك الوقت تراهم أذلاء ومهانين عند القبائل الأخرى وهم فعلا فقراء.

وخلاصة القول أن القبائل الأخرى تنظر إليهم كنظرهم إلى الغجر.

والقبائل التى توجد فى الأقطار الحجازية من بطون بنى هيتم هى (مهيمزان ، ذوو رشيد ، ذوو براك ، ونوامسة ، شرارات ، وهتمان.

وتسكن قبيلة مهيمزان بين الحناكية القريبة من المدينة المنورة وكريزية ، وقبيلة ذوى رشيد فى قرى حائط وحويط ، وأبو حبان ، وصحراء وادى رما وقبيلة ذوى براك فى الصحارى الممتدة من جبل سراة إلى جبل شمر ، وقبيلتا النوامسة وشرارات تسكن حول قبائل عنزة وبعضها فى أراضى جهينة ، والقبيلة الضخمة التى تسمى هتمان تسكن حوالى مكة المكرمة وفى داخل البلاد اليمنية.