Почти всички бракове на Олдман са краткотрайни. Първите му два брака с актрисите Лесли Менвил и Ума Търман траят само по 2 години, а третият му брак с фотографа Доня Фиорентино - 4. Четвъртата съпруга на Олдман е английската певица и актриса Александра Идънбъро, но двамата се развеждат след 6 години заедно. В момента Гари е женен за петата си съпруга – куратора Жизел Шмид и кой знае, може би 5 ще се окаже неговото щастливо число.