John Palumbo, New York Manhattan'ın Lower Eastside bölgesinde doğdu ve büyüdü. 1980'lerde New York Knicks'in top toplayıcı çocuklarından biriydi ve 1990'ların ortalarında New York'taki Lee Strasberg Enstitüsü'ne katıldı. Sinema filmindeki ilk çıkışı Martin Guigui'nin yönettiği komedi filmi My Ex-Girlfriend's Wedding'de (1999) küçük bir rolle oldu. Daha sonra HBO'nun hapishane draması "OZ"'da Don Zanghi rolünü oynayarak tekrar eden bir rol aldı. Babası 1990'larda Off-Track Betting'in (OTB) başkanıydı.