Бил е отгледан от различни роднини след смъртта на майка му, когато е на пет години. Той се връща при баща си, когато се омъжва отново през 1934 г., но доведената му майка напуска семейството, когато Гарнър е на 14 години.