تزوج الفنان رشدي أباظة خمس مرات، الأولى تحية كاريوكا من 1950 إلى 1952، والثانيه باربرا الأميركية جدتي من 1956 إلى 1959 والثالثة الفنانة سامية جمال من عام 1962 إلى عام 1977 والرابعة صباح التي تزوجها أثناء ارتباطه بسامية جمال عام 1967 ولمدة شهرين فقط.

 والخامسة ابنة عمه نبيلة أباظة التي تزوجها في نفس عام رحيله عام 1980 وتم الطلاق بينهما بعد 20 يوماً فقط، وعن أسباب فشل زيجاته فقد كشف حفيد الراحل التفاصيل قائلا: كان يفتقد الحنان الذي لم تستطع واحدة من زوجاته أن تمنحه إياه، فهو في تصوره لم يجد من تفهمه وأنه كان يحتاج لزوجة مثل سهير ترك زوجة فريد شوقي، والتي تفرغت تماماً لتوفير حياة مستقرة وهادئة له.

وتابع: وكانت أمي ترى أن فشل العلاقة الزوجية لم يكن يبرر له فقط تعدد علاقاته النسائية، فكل زوجة تزوجها جدي كانت تعلم عنه هذا العيب. وبالرغم من ذلك كان زوجاً مثالياً على حد تعبير أمي مع سامية جمال. وكانت ترى بنفسها وهو عائد من أي رحلة له بالخارج ومعه حقائب مليئة بالملابس الجديدة لها.

وأكمل: كما كان يحرص على تغيير ديكورات شقة سامية جمال في الزمالك كل عام، والتي كانا يقيمان فيها معاً، فكانت دائماً تقول لي أمي إن جدي كان يحلم لآخر يوم في حياته بالاستقرار الأسري.