Önce babasının mirasını devralmalıydı. Anne ve babası boşandığında Rühmann henüz 14 yaşındaydı. Babası daha sonra intihar etti. Rühmann, 1919 yılında eğitimini tamamlayıp ortaokul diplomasını aldıktan sonra oyunculuk dersleri almaya başladı. İlk tiyatro rolünü bir yıl sonra "Rose Bernd" adlı oyunda aldı. Kısa bir süre sonra Rühmann, Hannover'deki Residenztheater'da Theo Lingen ile birlikte oynadı. Rühmann 1923 yılında Münih Schauspielhaus'a üye oldu ve bir yıl sonra buradan Münih Kammerspiele'ye geçti. Bu süre zarfında aktris Maria Herbot ile evlendi. Rühmann 1927'den itibaren Berlin'de Max Reinhardt'ın yanında önemli roller aldı. Diğerlerinin yanı sıra, burada Marlene Dietrich ve Hans Albers ile oynadı.1930'da Rühmann hayalini gerçekleştirdi ve pilot lisansını aldı. Ünlü "The Three from the Gas Station" filmi de bu dönemde çekildi. İlk sesli Alman filmlerinden biri olan film, onu Almanya'nın en popüler aktörü haline getirdi. İkinci Dünya Savaşı sırasında Rühmann siyasete kayıtsız kaldı. Nasyonal Sosyalist kültür politikasının kurallarıyla uzlaşmaya çalıştı ve bu da kariyerine fayda sağladı. Daha sonra Nazi rejiminin yüksek rütbeli üyeleriyle olan dostluğu nedeniyle suçlandı. 1938 yılında eşinden boşandı. Kısa bir süre sonra aktris Hertha Feiler ile evlendi ve bu evlilikten bir oğlu oldu. Rühmann 1938'den 1945'e kadar Gustav Gründgens yönetimindeki Berlin Devlet Tiyatrosu'nun bir üyesiydi. İkinci Dünya Savaşı sırasında Rühmann pilot olarak Wehrmacht'a alındı. Halkı mutlu etmek için Propaganda Bakanı Josef Goebbels tarafından 1941 yılında Ufa-Film'e özel olarak sipariş edilen "Quax, the Break Pilot" adlı komik film çekildi.1944 yılında Rühmann, savaş yıllarında iç cepheyi sakinleştirmek için üretilen klasiklerden biri olan efsanevi komedi "Die Feuerzangenbowle" filminde rol aldı. Film onun en ünlü filmlerinden biri oldu. Savaşın sona ermesinden sonra Rühmann "denazified" edildi ve geçici olarak çalma yasağı kaldırıldı. Ailesiyle birlikte Münih'e geri döndü ve 1947'de burada kendi film şirketini "Comedia" kurdu. Ancak bu ona hiç şans getirmedi; birkaç başarısızlık yaşadı. Ancak "Don't Be Afraid of Big Animals" filmi vizyona girdikten sonra mali açıdan işler yeniden düzelmeye başladı. Rühmann savaş sonrası Alman sinemasında saygın bir aktör haline geldi. Diğerlerinin yanı sıra Carl Zuckmayer'in "The Captain of Köpenick" filmiyle de büyük başarı elde etti. Bu filmde Rühmann, askeri hiyerarşideki yetki karmaşasından yararlanarak kendisini yüzbaşı konumuna getiren bir ayakkabıcıyı canlandırıyordu. 1950'lerde "When the Father and the Son", "Charley's Aunt" ve "The Pauker" gibi başarılı eğlence filmleri çekildi. "It Happened in Broad Daylight" adlı gerilim filmiyle zorlu rollerde kendini gösterdi. Rühmann 1957 yılında Alman Film Eleştirmenleri Ödülü'ne layık görüldü. Komedyen zamanla bir karakter oyuncusu haline geldi. Rühmann 1965 yılında Hollywood'da bir film çekti: "The Ship of Fools" Vivien Leigh ile birlikte. 1965 yılında Gert Fröbe ve Curd Jürgens ile birlikte "The Love Carousel" filmini çekti. Aktör 1966'da Federal Liyakat Nişanı ve 1972'de Federal Film Ödülü'nü aldı. 1968 yılında Rühmann ilk televizyon rolünü Arthur Miller'ın "Death of a Salesman" filminde aldı. İki yıl sonra karısı öldü. 9 Ekim 1974'te Hertha Droemer ile üçüncü kez evlendi. Fondenes Fressen" filminin çekilmesinden sonra Rühmann oyunculuktan çekildi ve sadece ara sıra televizyonda göründü ve bu süre zarfında "That was it" adlı otobiyografisini yazdı. Son filmi 1993 yılında gösterime girdi: Wim Wenders'in "Far away, so close" filmi. 1995 yılında ölümünden sonra "Yüzyılın En Büyük Alman Aktörü" olarak Altın Kamera ile ödüllendirildi.Heinz Rühmann 3 Ekim 1994 tarihinde 92 yaşında Starnberg Gölü'nde öldü.