Tom New Jersey'de doğdu ve büyüdü. Harika bir öğretmen sayesinde oyunculuğa lisede başladı ve Howell High'da FPAC'a katıldıktan sonra Rutgers Üniversitesi Mason Gross School of the Arts'tan Oyunculuk dalında BFA derecesi aldı. Rutgers'dayken aynı zamanda Londra, İngiltere'deki Globe Tiyatrosu'nda Shakespeare eğitimi aldı. Tiyatro geçmişine rağmen Tom'un ilk işi uzun süredir devam eden CBS gündüz dizisi Guiding Light oldu. Orada, dizinin başrol oyuncusunun çekici ve değişken oğlu Jonathan Randall'ı canlandırarak birçok Emmy Ödülü kazandı. Tom diziden ayrıldı ve sonraki birkaç yılını bazı bağımsız filmlerde ve televizyonda, ama esas olarak tiyatroda çalışarak geçirdi. Apothecary Theatre Company'nin kurucu ortağı ve sanat yönetmeniydi. Bu şirket, "In God's Hat" adlı oyunun dünya prömiyerini yaptı ve oyun övgü dolu eleştirilerle açıldı ve gösteriminin geri kalanında kapalı gişe oynadı. NY Times oyunu "müthiş" olarak nitelendirdi ve oyuna dahil olan herkesi övdü. Pelphrey Broadway'deki ilk çıkışını Judy Garland'ın son günlerini konu alan ve birçok Tony Ödülü'ne aday gösterilen "End of the Rainbow" oyununda Micky Deans rolüyle yaptı. Ayrıca Broadway'de Sam Rockwell ve Nina Arianda ile birlikte "Fool for Love" oyununda yer aldı ve Sam Shepard ile tanışıp birlikte çalıştı.Tom, kült olmuş aksiyon dizisi "Banshee"'de kurtuluş arayan sorunlu eski bir Neo-Nazi olan Kurt Bunker'ı canlandırdı. Daha sonra Marvel'ın "Iron Fist" dizisinde ukala, uyuşturucu bağımlısı milyarder Ward Meachum rolünü üstlendi. Son zamanlarda Pelphrey, "Ozark"ta canlandırdığı Wendy'nin (Laura Linney) bi-polar kardeşi Ben Davis rolüyle övgü dolu eleştiriler aldı ve büyük ilgi gördü. David Fincher'ın "Mank" filminde Gary Oldman'ın canlandırdığı Herman Mankiewicz'in kardeşi Joseph Mankiewicz rolünü üstlendi. Film 10 Akademi Ödülü'ne aday gösterilerek 2021'de en çok aday gösterilen film oldu.