Бил е женен четири пъти: за Нанси Барбато от 1939 до 1951 г.; Ава Гарднър от 1951 до 1957 г.; Миа Фароу от 1966 до 1968 г.; и Барбара Маркс от 1976 г. до смъртта му през 1998 г., което я прави най-дългата му връзка.