След развода на родителите на Оливър, Бил, бащата на Оливър, не присъствал в живота му. През 2015 г., вместо да пожелае честит ден на бащата на Бил, в публикацията си в Инстаграм той написа „Честит ден на изоставянето“. Бил беше наранен от коментара на сина си и се опита да се свърже с него. Всъщност така публикацията на Оливър им помогна да възобновят връзката си и да се видят след 12 дълги години. „Изпращаме си съобщения и се опитваме да се срещаме“, каза той. — „Може да поправяме нещо.“ Майката на Оливър и Кейт Хъдсън е актрисата Голди Хоун. Техният баща Бил Хъдсън е музикант, но през последните 39 години актьорът Кърт Ръсел е баща на двамата (на снимката Кърт, Голди, Кейт и Оливър).