Актрисата описва трудностите, през които е преминала като дете в книгата „Всичко, което е горчиво и сладко“. Когато Ашли е дете, майка ѝ – Наоми Джъд, е изправена пред финансови затруднения да се грижи нея и сестра ѝ, преди да започне кариера като певица. По-късно Наоми става популярна кънтри певица. Финансовите проблеми принуждават семейството от време на време да живее без електричество или вътрешен водопровод. Когато майка ѝ отивала на турне, Ашли оставала сама за дълги периоди. Детските травми на актрисата водят до това, че тя развива депресия години по-късно. Въпреки това Джъд успява да преодолее психичните проблеми, като се подлага на терапия.