Според книгата "Роден да бъдеш актьор" Дауни младши е имал слаби оценки докато е посещавал училище, а освен това е употребявал наркотици и алкохол. Когато в края на 11-и клас му съобщават, че ще трябва да посещава лятно училище, за да завърши, той решава да се откаже, за да преследва актьорска кариера в Ню Йорк. "За мен, знаете ли, израстването в училище беше просто, знаете ли, пушене на трева през цялото време", казва Дауни младши. "Смятам себе си за човек, който има нужда да изразява себе си творчески, а актьорството изглежда е най-доходоносният и привличащ вниманието начин да го упражняваш в момента."