Говорейки за детството си, актрисата, носителка на Оскар, признава, че е израснала бедна и поради това родителите на нейните връстници не позволявали на децата си да играят с нея. По-големият брат на Хилари напуска семейния дом рано, в тийнейджърските си години, а родителите на актрисата се разделят, когато тя е само на 16. Майка ѝ подкрепяше актьорската ѝ кариера, така че двете се местят в Калифорния, но не могли да си позволят апартамент. Хилари в крайна сметка живее в каравана, докато посещава уроци по актьорско майсторство. Спомняйки си годините в гимназията, Хилари казва: „Чувствах се като аутсайдер. Не чувствах, че се вписвам. Дори не смятах, че учителите ме понасят. Просто имах чувството, че не съм била забелязвана или разбирана.“