Легендарният комик е израснал в голямо семейство с още 4 братя и сестри и много финансови затруднения. В даден момент семейството му било толкова бедно, че младият Джим трябвало да напусне училище. Когато баща му, който работел като счетоводител, остава без работа, семейството дори се оказва без дом за известно време и е принудено да живее в микробус. Актьорът признава, че именно в онези трудни времена е развил чувство за хумор и е решил да го превърне в своя кариера.