Семейният живот на Фрейзър също не е гладък. Той среща своята тогава бъдеща съпруга, актрисата Афтън Смит, на барбекю в къщата на Уинона Райдър през лятото на 1993 г. Двамата се женят през 1998 г. и през 9-те си години брак имат 3-ма сина, Грифин, Лиланд и Холдън. В интервю двойката спомена, че големият им син Грифин е с аутизъм. През 2007 г. Брендън и Афтън решават да се разведат. Синовете им живеят с майка си, но актьорът прекарва цялото си свободно време с тях. В къщата си в Бедфорд той има кон на име Пекас, който помага на сина му Грифин да се чувства по-добре.