Pastore, New York Bronx'ta İtalyan-Amerikan bir ailenin çocuğu olarak dünyaya geldi ve New Rochelle, New York'ta büyüdü. Liseden mezun olduktan sonra Birleşik Devletler Donanması'na denizci olarak katıldı ve ardından üç yıl boyunca Pace Üniversitesi'ne devam etti ve sonunda Matt Dillon ve Kevin Dillon ile arkadaş olduktan sonra oyunculuk sektörüne girdi. 3 Haziran 2015'te Good Day New York'a katılan Pastore, 30 yıla yakın bir süre kulüp işinde çalıştığını ve kırklı yaşlarında oyunculuğa başladığını söyledi.