Asıl adı Shalom Jaffe olan Jaffe, tüm dünyada Sam Jaffe olarak tanındı. New York'ta, Rus Yahudisi göçmenler olan Heida (Ada) ve Barnett Jaffe'nin oğlu olarak dünyaya geldi. Çocukken, önde gelen bir bölgesel sahne oyuncusu olan annesiyle birlikte Yidiş tiyatro yapımlarında yer aldı. City College of New York'tan mezun oldu ve ardından Columbia Üniversitesi'nde mühendislik eğitimi aldı. Kariyerine Bronx'ta matematik öğretmeni olarak başladı. Jaffe 1915 civarında Washington Square Players'a katıldı. 1918'e gelindiğinde Broadway'e yabancı değildi, orijinal oyun Youth'ta ilk kez sahneye çıktı ve 1920'ler boyunca düzenli olarak sahneye çıktı, ancak 1930'larda daha az ve 1940'larda sadece ara sıra sahneye çıktı. Oyunculuk kariyeri boyunca Broadway'de 21 oyunda rol aldı ve son kez 1979'da sahneye çıktı.Jaffe, henüz tanımlanmadan önce bir metot oyuncusuydu ve erken yaşlarda, bazı insanların daha sonra Harpo Marx karakterizasyonunun bir parçası olarak yanlış yorumlayacağı, kendine özgü kıvırcık saçlarını kullandı. Jaffe başka bir şeydi. Oyunculuk yetenekleri kayda değerdi ve Hollywood onu ilk olarak Josef von Sternberg 'in Kızıl Çariçe (1934) filmindeki çılgın Grandük Peter rolüyle fark etti. Peter rolünde korkutucu olan Jaffe, her zaman muhteşem olan Marlene Dietrich tarafından gönderilmişti.Jaffe matine idolü değildi ama sade yüz hatları alışılmadık karakter rolleri için yaratılmıştı. Unutulmaz performanslar sergileyerek hayal kırıklığına uğratmadı. Frank Capra onu Gaib Ufuklar'da (1937) gizemli Yüksek Lama rolünde oynattı (son dakika değişikliği olarak; başlangıçta rol alan aktör ölmüştü). Jaffe'nin bir kez daha Hollywood'a çağrılması için iki yıl daha geçmesi gerekecekti - Broadway'de oldukça meşguldü. Büyük yıldızların da rol aldığı George Stevens'ın Gunga Din (1939) filminde oynadı. Stevens başrolü Jaffe'ye verdi, Gunga Din, yerli alay bhisti'si (Hintçe su taşıyıcısı). Bu muhtemelen Jaffe'nin en bilindik film rolüydü. Jaffe'nin büyük bir insaniyetle üstesinden geldiği göze çarpan bir roldü ve film büyük bir hit oldu.Jaffe sekiz yıl boyunca başka bir filmde görünmeyecekti. 1947'de oynadığı iki filmden ikincisi, Elia Kazan'ın antisemitizmi güçlü bir şekilde ifşa ettiği Namus Sözü (1947) oldu ve Jaffe bu filmde Albert Einstein benzeri bir profesörü canlandırdı. Jaffe sonraki birkaç yıl boyunca bir avuç filmde şu ya da bu türden doktorları oynayacaktı. Ardından 1950'de John Huston'ın gerilim dolu Elmas Hırsızları (1950) filminde çok farklı bir doktoru, suç dehası Doktor Erwin Riedenschneider'ı canlandırdı. Jaffe bu çalışmasıyla yardımcı oyuncu Oscar'ına aday gösterildi. Jaffe, 1951'de oynadığı üç filmden Robert Wise'ın bilimkurgu klasiği Dünyanın Durduğu Gün'de (1951) Einstein'a benzer bir rolde daha yer aldı.Jaffe, Kızıl Kanallar broşüründe komünizme sempati duyan oyuncuların listesinde adı yer aldığında yıkıcı bir anti-komünist öfke yaşadı ve birçokları gibi büyük Hollywood stüdyoları tarafından kara listeye alındı. Yapımcı Julian Blaustein ve Robert Wise tarafından Profesör Jacob Barnhardt'ı oynaması gerekli görülmüş ve 20th Century Fox'un patronu Darryl Zanuck (Namus Sözü (1947) için çok direnmişti) bunu kabul etmişti. Barnhardt karakterine bürünen Einstein'ın o dönemde bir pasifist olması ve ABD hükümeti tarafından izlenmesi ironikti. Jaffe'nin Barnhardt'ın kara tahtasındaki hesap denklemlerini (özellikle cisimler arasındaki çekim kuvveti) sağladığı ve uzaylı Michael Rennie tarafından kolayca çözüldüğü söylentileri biraz inandırıcıydı.Jaffe, kara listenin cezalandırıcı etkileri nedeniyle yedi yıl boyunca ekranda görünmedi. 1958'de John Huston, John Wayne'li çok orijinal Japon Gülü (1958) filmi için onu istedi ve yönetmen William Wyler da daha sonra gişe rekorları kıran Ben-Hur'da (1959) sadık hizmetçi Simonides rolünü vermek için öne çıktı. O zamandan itibaren Jaffe, özellikle 1960'lar boyunca çok popüler Doktorlar (1961) dizisindeki Dr. Zorba rolünü de içeren epizodik TV dizileriyle çok meşgul oldu. Jaffe ayrıca hayat boyu en iyi arkadaşı olan ekran ikonu Edward G. Robinson'la birlikte The Old Man Who Cried Wolf (1970) adlı TV yapımı filmde rol aldı. Jaffe vefat ettiği yıla kadar aktif olarak çalıştı, son derece ilgi çekici ve benzersiz bir aktör ve görüşlerini kimseye dayatmayan bir insandı.