Tony Randall 26 Şubat 1920'de Tulsa, Oklahoma'da Aryeh Leonard Rosenberg adıyla doğdu. Tulsa Merkez Lisesi'nin ardından Northwestern Üniversitesi'ne ve New York City Neighborhood Playhouse School of the Theatre'a devam etti. Mezun olduktan sonra iki oyunda rol aldı: Jane Cowl ile birlikte George Bernard Shaw'ın 'Candida' ve Ethel Barrymore ile birlikte Emlyn Williams'ın 'The Corn Is Green' oyunlarında rol aldı. İkinci Dünya Savaşı'nda Birleşik Devletler Ordusu Sinyal Birliği'nde geçirdiği dört yılın ardından Randall, oyunculuk kariyerine devam etmek üzere New York'a dönmeden önce Montgomery County Olney Tiyatrosu'nda iş buldu. 1940'larda Randall çoğunlukla Broadway oyunlarında yardımcı rollerde yer aldı. İlk başrolünü 1955 yılında 'Inherit the Wind' ile aldı. Randall, 1958 tarihli 'Oh, Captain!' oyunundaki başrolüyle Tony Ödülü adaylığı elde etmeyi başardı, ancak oyunun kendisi bombalandı.1957'de Ginger Rogers'ın Oh, Men! Oh, Women! (1957). Aynı yıl, hiciv komedisi Will Success Spoil Rock Hunter? (1957) filmindeki televizyon reklamı yazarı rolüyle Altın Küre adaylığı elde etti. Randall ayrıca üç ünlü Doris Day-Rock Hudson ikilisi Yastık Sohbeti (1959), Aşka Davet (1961) ve Bana Çiçek Gönderme (1964) filmlerine de destek verdi ve ilk ikisiyle Altın Küre adaylığı elde etti. Randall 1960'lar boyunca oldukça üretken bir şekilde çalıştı; kayda değer rolleri arasında Marilyn Monroe'nun romantik müzikali Gel sevişelim'de (1960) bir halkla ilişkiler çalışanı, 7 Faces of Dr. Lao (1964) adlı tuhaf filmde birbirinden oldukça farklı yedi karakter yer alıyor. Lao (1964), The Alphabet Murders'da (1965) ikonik dedektif Hercule Poirot, fantastik Sihirli vazo'da (1964) yanlışlıkla bir cini serbest bırakan bir mimar ve Hello Down There (1969) macerasında ailesiyle birlikte bir sualtı evinde yaşayan bir adam.Randall'ın ilk önemli televizyon rolü Mister Peepers'daki (1952) tarih öğretmenliğiydi; 1955'te kadroya katıldı. Dizi bittikten sonra The United States Steel Hour (1953), Alfred Hitchcock Saati (1962), Love, American Style (1969) ve Here's Lucy (1968) gibi dizilerde çok sayıda konuk oyuncu olarak yer aldı. Jack Klugman'la birlikte ABC'nin The Odd Couple (1970) adlı dizisinde alaycı temizlik delisi Felix Unger'ı canlandırdığı 1970 yılına kadar televizyona önemli bir rolle dönmedi. Her sezon için Emmy adaylığı kazandı ve son olarak 1975 yılında kazandı. Daha sonra The Tony Randall Show'da (1976) Philadelphia'lı bir yargıç ve Love, Sidney'de (1981) eşcinsel bir sanatçı olarak rol aldı. İlki ona bir Altın Küre adaylığı, ikincisi ise iki Altın Küre adaylığı kazandırdı. Jack Klugman ile 1993 yapımı TV filmi The Odd Couple için yeniden bir araya geldi: Randall, televizyondaki çalışmaları sırasında ve sonrasında Seks Hakkında Bilmek İstediğiniz Ama Sormaya Asla Cesaret Edemediğiniz Her Şey (1972), Kahkahalar Kralı (1982), Benim Küçük Midillim (1986) ve Gremlinler 2 (1990) gibi birkaç tanınmış filmde küçük roller aldı. Televizyon dizilerine konuk oyuncu olarak katılmaya devam etti, ancak bir daha başrol oyuncusu olarak küçük ekrana dönmedi. Randall, Aralık 2003'te geçirdiği koroner bypass ameliyatının ardından yakalandığı zatürre nedeniyle 17 Mayıs 2004'te uykusunda hayata veda etti. Kendisinden geriye 1995 yılında evlendiği eşi Heather Harlan ve iki çocuğu kaldı. Randall daha önce 1938'den 1992'deki ölümüne kadar Florence Gibbs ile evliydi.