Брендън Джеймс Фрейзър е роден в САЩ. Майка му е консултант, а баща му е служител в канадската външна служба. През 1990 г. Фрейзър завършва Корнуолския колеж по изкуствата в Сиатъл и се премества в Холивуд. Преди да стане актьор, той е работил на различни места - дори е жонглирал в универсален магазин.