Джеймс е женен 4 пъти, но нито в един брак не е бил щастлив завинаги. Точно като кариерата му, любовният живот на Каан е пълен с възходи и падения.
Той сключва брак за първи път през 1961 г., когато е само на 21. Тогава се жени за актрисата Ди Джей Матис и имат дъщеря заедно, на име Тара. 2 години след раждането на дъщеря им двойката се развежда.
10 години по-късно Каан решава да направи втори опит за брак и се жени за Шийла Мари Райън. Но въпреки че бракът им трае само една година, те посрещат сина си Скот Каан.