Tony Perez, Porto Riko ve Filipin kökenli Jose Anthony Perez olarak doğdu. San Diego, Kaliforniya'nın yanı sıra Virginia'da ve Manhattan, New York'taki West 68 Street'te büyüdü. Yıkılmadan önce mahallesi Batı Yakasının Hikâyesi (1961) filminde ölümsüzleştirildi. Babası İkinci Dünya Savaşı sırasında Birleşik Devletler Donanması'nda gururla görev yapmıştır. Perez resim yapmakta ve bir kısmı yayınlanmış olan şiirler yazmaktadır. Harika eşi Marie Gagne ile 30 Ağustos 1961'den beri evlidir. Linda Marie Lawrence adında bir kızları vardır.