От всичките му 5 деца той имал най-силна връзка със сина си Скот. В живота си Джеймс се сблъсква с няколко трудности - 4 развода, "прегаряне в Холивуд" и депресия заради загубата на сестра му от левкемия. Това повлиява на отношенията му със сина му Скот, но те винаги намират начини да поправят връзката си.
Скот симпатизира на баща си и не изпитва никакво негодувание към него, защото той е бил присъстващ баща. „Той направи грешки, които засегнаха него, и мен, но винаги е бил до мен, независимо от всичко.“, споделя Скот.