Слуховете за връзката на Джейк с Тейлър Суифт тръгват, когато двамата се появяват заедно в шоуто „Saturday Night Live” през 2010 година. Малко по-рано през същата година те се срещат на вечеря, чрез актрисата Гуинет Полтроу. През ноември 2010 година са забелязани да се разхождат в Бруклин, прегръщайки се и разменяйки си усмивки. Дори прекарват Деня на благодарността със сестра му Маги. Въпреки това връзката им е мимолетна. Разделят се през декември 2010 година. По този повод техен близък споделя: „Джейк току-що ѝ каза, че нещата просто не се получават. Тейлър е много разстроена и наранена. Чувства се измамена”. Две години по-късно, Суифт загатва за тяхната връзка в песента си от 2012 година „All Too Well”. В един момент тя пее за шала, който е оставила в къщата на сестра му и който той е запазил за спомен. Предполага се, че това е същият шал, с който е забелязана по време на разходка с Джейк през ноември 2010, когато гостували на сестрата на Джилънхол. През 2021 година Тейлър преиздава албума „Red”, като добавя още детайли за 3-месечната им връзка в песента „All Too Well”. Продължителността на новата версия е 10 минути.