Джоузеф Джон „Джо“ Ландо е роден в Прери Вю, Илинойс, САЩ. Има сестра Кати, но за родителите им Вирджина и Джо Ландо не се знае нищо, тъй като предпочитат да бъдат далеч от светлината на прожекторите.

Джо учил в гимназия „Стивънсън“ в Линкълншър, Илинойс, и въпреки че се появявал в няколко пиеси, играни в училището, нямал планове да преследва кариера във филмовата индустрия. След като се дипломирал през 1979 г., решил да не следва висше образование, а да си намери работа и да се издържа финансово. Работил на различни места през следващите няколко години и докато си изкарвал прехраната като готвач в ресторант в Холивуд, бил забелязан от режисьор. След това се явил на първото си прослушване и спечелил първата си роля.