Те се запознават на снимачната площадка на „Пърл Харбър“ през 2000 г. и стават добри приятели. Няколко месеца след раздялата с Джей Ло, актьорът осъзнава, че между него и Гарнър има необяснима химия и през октомври 2004 г. те за първи път са видени заедно на трибуните за зрители на баскетболен мач. За разлика от предишната страст на Афлек, Дженифър Гарнър не издържа на шума, така че връзката им се развива далеч от публичното внимание. През 2005 г. двамата се женят на усамотен карибски остров.

Първите години от семейния им живот са наистина щастливи – на двойката се раждат три деца, а кариерата на Афлек (както актьорска, така и продуцентска) бързо върви нагоре. Успехът обаче изиграва жестока шега на Бен Афлек – той се пристрастява към алкохола и хазарта. Въпреки всичко Гарнър е решена да се бори за брака си и двамата отиват на семеен психолог. Въпреки това двете години работа със специалист не носят успех и през 2015 г. се разделят. Разводът им официално става факт през 2018г.