Joseph aslen Brainerd, Minnesota'lıdır (Paul'un evi Bunyan). New York'taki Juilliard School'un oyunculuk programına katıldı, Kevin Spacey de onun sınıf arkadaşlarından biri. Joseph, Avra Douglas ile evli. aktörlerin damadı Arlene Martel ve Jerry Douglas. Bir tane var. kızı, Molly Rose Brutsman.