قد كثر أحفاد بنى إسماعيل المقيمين فى جوار الكعبة المعظمة. وأدى هذا التكاثر إلى تفرقهم فى أطراف البلاد فهاجر بعضهم إلى بلاد الشام، والبعض الآخر إلى بلاد اليمن، وعند هجرتهم حملت كل قبيلة قطعة من الحجر من الكعبة الشريفة تذكارا وتبركا منها، ووضعت الأحجار فى مكان مرتفع توقيرا لها.

وقد رأى الشيطان اللعين مدى استعدادهم لاعتناق الوثنية وعبادة الأصنام، فقال: الأولى أن نعبد الأصنام المصنوعة والمصورة بدلا من هذه الحجارة الغليظة الخالية من الذوق والجمال، وهكذا نحتت وصورت الأصنام الخمس السالفة الذكر، وحمل رؤساء القبائل على عبادة الأصنام بواسطة عمرو بن لحى، وقد ابتدر هؤلاء الزعماء فى عبادة الأصنام، وقد استحسنوا أقاويل الشيطان وانصرفوا إلى الوثنية وتقديس الأصنام بعد أن تركوا قراءة صحف إبراهيم جانبا.

أول من اعتنق الوثنية من بنى إسماعيل هو هذيل بن مدركة بن إلياس بن مضر الأرذل. إن هذا المنحط قد اتخذ الصنم الذى يطلق عليه «سواع» إلها وحمل قومه الذين يسكنون على بعد ثلاثة أميال من مكة المعظمة على تقديسه وعبادته، واستمرت ضلالة هذه القبيلة التى تعبد سواع إلى بزوغ شمس الإسلام فى عصر السعادة. وقد كلف عمرو بن العاص فى العام الثامن من الهجرة النبوية بهدم وتحطيم معبد أصنام هذيل، وقد نال الأجر والثواب بأداء عمله على أحسن وجه.

كان فى عصر السعادة لبنى سليم صنما يسمى: سواع يقوم بسدانته (غاوى بن عبد العزى) بينما كان غاوى بن عبد العزى جالسا يوما بجانب ذلك الصنم المنحوس جاء ثعلبان قافزين متواثبين، وصعدا فوق الصنم الذى تتعبد له قبيلة بنى سليم ورفعا رجليهما وبالا فوق رأس الصنم، ووسخا الصنم العظيم (سواع) ولطخاه.

وأنشد غاوى إذ رأى هذه الحالة: