Robert Downey Sr. 22 yaşına gelmeden önce orduda görev yapmış, ikinci ligde beyzbol oynamış, Altın Eldiven şampiyonu olmuş ve Broadway'de oyun yazarlığı yapmıştır.Downey, New York'ta bir model olan Elizabeth (McLoughlin) ile otel/restoran işletmeciliği yapan Robert Elias'ın oğlu olarak dünyaya geldi. Orduya yazılırken üvey babası James Downey'nin soyadını aldı. Babası Litvanya Yahudi kökenli, annesi ise yarı İrlandalı yarı Macar Yahudi kökenliydi. 1960 yılında, yeraltında bir takipçi kitlesi edinen bodrum bütçeli, absürdist filmler yazmaya ve yönetmeye başladı: Balls Bluff (1961), Babo 73 (1964), Chafed Elbows (1966) ve No More Excuses (1968). Putney Swope (1969) Downey'nin yönettiği ve ana akım gösterime giren ilk film oldu. Madison Avenue'nun yıkıcı bir hicvi olan film, Afro-Amerikalı bir aktiviste bir reklam ajansında tam yetki verildiğinde neler olduğunu ele alıyordu. Film New York Magazine'de yılın en iyi 10 filmi arasında yer aldı.1970'lerin laissez-faire film dünyasında Downey, insanların evlat edinilmeyi bekleyen köpekleri oynadığı Pound (1970) gibi saygısız filmlerle başarılı oldu. Bu sıralarda Joseph Papp ve New York Halk Tiyatrosu için projeler üzerinde çalıştı ve CBS için David Rabe'in "Sticks and Bones" adlı oyununu yönetti (Sticks and Bones (1973)). Bu canlı yayında dile getirilen güçlü savaş karşıtı duygular, sponsorların son dakikada çekilmesiyle büyük bir tartışmaya yol açtı ve kanal sponsor bulamadığı için filmi kesintisiz yayınlamak zorunda kaldı. Greaser's Palace (1972), İsa'nın hayatının "spagetti western" terimleriyle yeniden canlandırıldığı çirkin bir filmdir. Time Dergisi bu filmi yılın en iyi 10 filmi listesine aldı. Downey'nin mizah anlayışı Moment to Moment (1975) ve Hollywood'da bir kadın havuz temizleyicisinin hayatından bir günü anlatan Hugo Pool (1997) (dünya prömiyeri 1997'de Sundance festivalinde yapıldı) filmlerinde de kendini gösteriyor. Rittenhouse Square (2005) Galway Film Festivali'nin uzun metrajlı sunumuydu ve Raab'ın ödüllü Strut! filminde danışmanlık yaptıktan sonra Max L. Raab ile ikinci kez bir araya geldi. (2001) filminde danışmanlık yapan Downey, zaman zaman (kendisine göre kötü bir şekilde) oyunculuk yaptı ve Ateşli geceler (1997), Manolya (1999) ve Aile Babası (2000) gibi filmlerde görüldü. The Tonight Show Starring Johnny Carson (1962), The Dick Cavett Show (1968), IFC'nin At the Angelika (1997), Sundance Channel ve sayısız diğer TV ve radyo programlarında iki kez yer aldı. Downey ayrıca ülke çapındaki film festivallerinde ve üniversitelerde konuk konuşmacı olarak yer aldı. Eşi Rosemary Rogers ile birlikte New York'ta yaşayan Robert, aktör Robert Downey Jr. ve Allyson Downey'nin babasıydı.