Okuldan sonra 1980-1984 yılları arasında Essen'deki Folkwang Okulu'nda eğitimini ve Pierre Byland ile palyaço eğitimini tamamladı. Rohde daha sonra Bielefeld ve Bochum'daki çeşitli tiyatrolarda çalıştı ve 1987'den 1995'e kadar Schauspielhaus Bochum'un topluluğunda oynadı. Kendisinden üç yaş küçük olan kardeşi Uwe Rohde de oyuncu oldu. İlk önemli rolleri Berthold Brecht'in "Üç Kuruşluk Opera", "Sophocles' Oedipus" ve Samuel Beckett'in "Godot'yu Beklerken" oyunlarında oynadı. Bu arada, 1991 yılında "Schtonk!" Helmut Dietl ilk sinema yapımında bir rolle yer aldı. Aynı yıl Sönke Wortmann'ın "Little Sharks" filmiyle çıkışını kutladı. 1992 yılında televizyondaki ilk çıkışını "The Schimanski Case" adlı suç dizisiyle yaptı. 1996 yılında Manfred Krug'un bir kamyon şoförü olarak popüler hale getirdiği "Auf Axle" adlı televizyon dizisinde kamyon şoförü rolünü üstlendi. 1995 yılında Angela Barones von Schilling ile evlenen Armin Rohde, sonraki yıllarda "The Moving Man", "The Superwoman", "Rossini", "Life is a Construction Site" ve "Lola Runs" gibi filmlerle Almanya'nın en popüler oyuncularından biri haline geldi. Ayrıca Hermine Huntnatalh imzalı "Dangerous Girlfriend" (1996), Lars Becker imzalı "The Yellow of the Egg" (1998), Volker Vogeler imzalı "No Way Back" (1999) ve "Pommery Series" gibi çok sayıda televizyon filminde rol aldı. Manfred Stelzer tarafından ZDF (2002, 2004). Armin Rohde 2000 yılında en iyi aktör dalında Altın Kamera ödülüne layık görüldü. 2001 yılında Sinema dergisi tarafından en iyi aktör olarak okuyucu ödülü "Jupiter" aldı. İki bölümlük TV dizisi "The Miracle of Lengede" (2003) için yaptığı katkılardan dolayı Bambi ve Adolf Grimme Ödülü'nü aldı. 2005 yılında başarılı yapımlar "Blood Wedding" ve "The Ghost of Canterville" için kamera karşısına geçti. 2006 yılında masal filmi "The Robber Hotzenplotz" ve komedi "Father Undercover - On behalf of the family" filmlerinde başrol oynadı. 2009 yılında otobiyografisi "Megalomania and Stage Fright" başlığı altında yayınlandı: Aktörler Hakkındaki Gerçek" adıyla yayımlandı. 2010 yılında "Jud Süß - Vicdansız Film" adlı sinema yapımı için kamera karşısına geçti.