James Olson 8 Ekim 1930'da Evanston, Illinois'de mühendis LeRoy Olson'ın oğlu olarak dünyaya geldi. Sahneye ilk çıkışını 12 yaşında Evanston Çocuk Tiyatrosu'nun 'Hans Brinker and the Silver Skates' oyununda "Hans Brinker" rolüyle yaptı. Northwestern Üniversitesi Konuşma Bölümü'nden lisans derecesi alan Olson, 1952 yılında iki yıl süreyle ABD Ordusu'nda askeri polis (M.P.) olarak görev yaptı.New York'a taşınmadan önce Chicago'da tiyatro oyunculuğu yapan 6'3" Olson, Lee Strasberg ile çalıştı ve Broadway'deki ilk çıkışını 'The Young and Beautiful' oyununda yaptı. 1950'lerin sonu ve 1960'lar boyunca 'J.B.' (1958), 'Romulus' (1962), 'The Chinese Prime Minister' (1964), 'The Three Sisters' (1964) ve 'Of Love Remembered' (1967) gibi dokunaklı Broadway rolleri bulmaya devam etti. Olson, 1966 tarihli Mary Tyler Moore-Richard Chamberlain müzikalinde 'Holly Golightly' (Çılgınlar Kraliçesi (1961) filminden uyarlanmıştır) rol aldı; talihsiz müzikal Broadway'e ulaşamadan kapandı.Olson televizyonda The Life of Mickey Mantle (1956) filmindeki başrol karakteriyle çıkış yaptı. Sinema kariyeri unutulmaz aksiyon draması Deniz Kurtları (1956) ile başladı ama daha sonra kara film draması The Strange One (1957) ve Çehov klasiği The Three Sisters'da (1966) (Broadway sahnesindeki rolü Baron Tuzenbach olarak) daha iyi rollerde göründü. Oscar adayı Yasak aşk (1968) filminde Joanne Woodward'ın talibi rolündeki performansıyla abartısız bir güç sergiledi ve film kariyerinin en iyi eleştirilerini aldı. Bunu, klasik bilimkurgu gerilimi Uzay Mikrobu'ndaki (1971) baş bilim adamı rolü izledi. Sahnede 'The Glass Menagerie', 'The Crucible', 'A Safe Place', 'Twelve Dreams' ve 'Winterplay' oyunlarında rol almaya devam etti.Paper Man (1971), Incident on a Dark Street (1973), A Tree Grows in Brooklyn (1974), The Sex Symbol (1974), The Missiles of October (1974), The Family Nobody Wanted (1975), Someone I Touched (1975), Strange New World (1975), Law and Order (1976) ve The Spell (1977) gibi TV filmlerinde ve Bonanza (1959), Marcus Welby, M. D. (1969), Tıp Merkezi gibi TV dizilerinde konuk ve/veya yinelenen rollerde yer aldı.D. (1969), Tıp Merkezi (1969), Police Story (1973), Kadın polis (1974), The F.B.I. (1965), Gunsmoke (1955), Mannix (1967), Harry O (1973), Hawaii Five-O (1968), Maude (1972), Barnaby Jones (1973), The Bionic Woman (1976) ve Savaş Yıldızı Galaktika (1978) gibi TV dizilerinde konuk ve/veya yinelenen roller aldı. Bir Zamanlar (1981), Amityville II: Saplantı (1982), Komando (1985) ve Rachel River (1987) filmleriyle kariyerini tamamlayan Olson, 1990 yılında The Family Man (1990) ve Cinayet Dosyası (1984) dizilerinde rol aldı ve emekli oldu.