Детството на актьора не е лесно. Той е четвъртото дете в голямото си семейство. Според Лори той е имал обтегнати отношения с майка си. Той чувствал сякаш е „разочарование за нея“ и му се струвало, че постоянно е обект на неодобрението ѝ. „Тя сякаш не ме харесваше“, разказва Хю.
Баща му, от друга страна, е истински източник на вдъхновение за Лори. Следвайки неговите стъпки, той отива в Кеймбридж и избира специалност, която е доста далеч от актьорството: антропология. Освен това, следвайки примера на баща си, Хю започва да тренира гребане.
След като майка му умира през 1989 г., Лори осъзнава, че самият той не винаги е бил идеалното дете за родителите си. Може би затова решава да носи радост на хората чрез комедията – за да даде на света това, което самият той е пропуснал в ранните си години.