Тъй като тази роля задвижва кариерата му, Каан продължава да приема роли само във филми и отказва роли в телевизионни предавания, казвайки: „Искам да бъда актьор, а не милионер.“
Въпреки това, през 1971 г. той получава предложение (което отказва 4 пъти) да изиграе футболиста Брайън Пиколо в телевизионното шоу "Brian’s Song". След като прочита сценария, Каан променя решението си и най-накрая приема предложението. Шоуто се оказва огромен успех, печели одобрението на критиците, а самият Каан получава награда Еми за ролята си.
Следващата година е големият пробив на Джеймс. Той получава ролята на Сони Корлеоне в „Кръстникът“ – ролята, с която ще бъде запомнен години наред. За изпълнението си в този блокбъстър той спечели номинация за най-добър актьор в поддържаща роля, а за Каан това отвори врати за няколко различни проекта.