وعندما كتب الإمام السيوطي -رحمه الله تعالى- كتابه «تاريخ الخلفاء» لم يذكر منهم العبيديين، اعتذر عن ذلك بذكر أسباب:

منها: «أنهم غير قريشيين، وإنما سمتهم بالفاطميين جهلة العوام، وإلا فجدهم مجوسي.

قال القاضي عبد الجبار البصري: اسم جد الخلفاء المصريين سعيد، وكان أبوه يهوديًا حدادًا نشابة. وقال القاضي أبو بكر الباقلاني:

القداح جد عبيد الله الذي يسمي علماء النسب، وسماهم جهلة الناس الفاطميين. قال ابن خلكان: أكثر أهل العلم لا يصححون نسب المهدي عبيد الله جد خلفاء مصر، حتى إن العزيز بالله ابن المعز في أول ولايته صعد المنبر يوم الجمعة، فوجد هناك ورقة فيها هذه الأبيات:

إنما سمعنا نسبًا منكرا ... يتلى على المنبر في الجامع

إن كنت فيما تدعي صادقًا ... فاذكر أبًا بعد الأب السابع

إن ترد تحقيق ما قلته ... فانسب لنا نفسك كالطائع

أو دع الأنساب مستورة ... وادخل بنا في نفسك الواسع

فإن أنساب بني هاشم ... يقصر عنها طمع الطامع

وكتب العزيز إلى الأموي صاحب الأندلس كتابًا سبه فيه وهجاه، فكتب إليه الأموي: «أما بعد فإنك عرفتنا فهجوتنا، ولو عرفناك لأجبناك» فاشتد ذلك