Пеле се жени за първата си съпруга Розмари през 1966 г. и споделят 16 години от живота си. За жалост, двойката се развежда през 1982 г. Двамата имат три деца - Кели Кристина, родена през 1967 г., син Едсън, роден през 1970 г. и Дженифър, родена през 1978 г.
По време на брака си Пеле и Розмари имат много проблеми, Пеле има безброй извънбрачни връзки. През 1957 г. семейството се мести от Бразилия в Ню Йорк и скоро след това двамата се разделят. Кели, Едсън и Дженифър разказват, че след преместването баща им почти не е присъствал в животите им. Едсън играе баскетбол, бейзбол и футбол по време на престоя си в Америка, но се опитва да следва стъпките на баща си и става вратар за Сантос през 1990 г.
През 2014 г. Пеле е осъден на 33 години затвор за пране на пари и трафик на наркотици. По-късно обвиненията са смекчени на 13 години.