Üçüncü kuşak bir aktör olan Spencer, Screen Actors Guild'in iki dönem başkanlığını yapmış olan aktris Kathleen Nolan'ın oğludur. Babası, bir yetenek ajansı olan Film Artists Associates'in eski başkanı Richard Heckenkamp'tır. Spencer New York ve Los Angeles'ta büyüdü ve ünlü öğretmen Sanford Meisner ile tiyatro çalışmalarına başlamadan önce Duke ve Fordham Üniversitelerine devam etti.