Rummenigge futbola 1963 yılında doğduğu şehir olan Borussia Lippstadt'ta başladı. 1974 yılında profesyonel futbolcu olarak Bayern Münih'e geçti. Transfer ücreti 17,500 DM idi. Bunun için bankacılık stajını bıraktı. Rummenigge ünlü kulüpte toplam on yıl boyunca aktif olarak oynadı. 1976 yılında Bayern ile Avrupa Kupası'nı kazandı. Rummenigge 1976'da ilk kez milli takıma girdi ve toplam on yıl boyunca bu takımın formasını giydi. 1976 ve 1986 yılları arasında Alman milli takım formasını toplam 95 kez giydi. Rummenigge geriye dönüp baktığında 45 gol kaydetmiştir. Toplam 51 maçta kaptan olarak milli takımın başında yer aldı. 1978 yılında Arjantin'de düzenlenen Dünya Kupası'na ilk kez katıldı. En büyük sportif başarılarından biri İtalya'da düzenlenen 1980 Avrupa Şampiyonası'nı kazanmak oldu. O dönemde teknik direktör Jupp Derwall yönetimindeki takım, Belçika takımına karşı finalde 2-1 galip geldi. Rummenigge ve takımı 1982 yılında İspanya'da ikinci oldu. 1980 ve 1981'de arka arkaya Almanya şampiyonu oldu. 1982 ve 1984 yıllarında Bayern ile DFB Kupası'nı kazandı. Rummenigge 1980, 1981 ve 1984 yıllarında üç kez Bundesliga'da gol kralı seçildi. 1980 yılında Almanya'da "Yılın Futbolcusu" seçimini kazandı. Diğer kişisel ödülleri arasında 1980 ve 1981 yıllarında Avrupa'da "Yılın Futbolcusu" seçilmesi de yer almaktadır. Rummenigge 1984 yılında Fransa'da düzenlenen Avrupa Şampiyonası'na katıldı. 1984 yılında Rummenigge Bayern Münih'ten ayrılarak geleneksel İtalyan kulübü Inter Milan'a imza attı. Transfer ücreti 10 milyon marktı. Futbolcu daha sonra İsviçre'ye gitti ve 1987'den itibaren Servette Geneva'da oynadı. 1986 yılında Meksika'da düzenlenen Dünya Kupası'nda Almanya yine ikinci oldu. 1989 yılında İsviçre'nin en golcü oyuncusu oldu. Aynı yıl, otuz dört yaşındaki oyuncu aktif futbol kariyerini de sonlandırdı. Rummenigge muazzam top sürme gücüyle dikkat çekiyordu. Forvet pozisyonunda oynadı ve hızı ve kaleye kendinden emin şutları nedeniyle rakipleri tarafından korkuldu. Oyuna müdahalesi büyük bir kararlılıkla karakterize edildi. Rummenigge'nin aktif futbolculuk kariyerinde Bayern Münih formasıyla 64 Avrupa Kupası maçı ve 31 gol; Inter Milan formasıyla 23 Avrupa Kupası maçı ve dokuz gol ve Servette Geneva formasıyla dört Avrupa Kupası maçı bulunmaktadır. 1980 Avrupa Şampiyonası'nda turnuvanın en iyi oyuncusu seçilmiştir. Aktif futbol kariyerini sonlandırdıktan sonra 1991 yılında eski kulübü FC Bayern Münih'in başkan yardımcısı oldu. Bu süre zarfında kulüp çok sayıda şampiyonluk kazandı. Rummenigge 1990'dan 1994'e kadar ARD için uluslararası maçlarda yardımcı yorumcu olarak çalıştı. Rummenigge 2000 yılında Alman Futbol Federasyonu (DFB) tarafından takım menajeri olarak işe alındı. Bu görevinde milli takım teknik direktörü Rudi Völler'e destek oldu. Rummenigge, takım menajeri olarak Japonya ve Güney Kore'de düzenlenen 2002 Dünya Kupası'nda da görev aldı. Almanya ikinci kez dünya şampiyonu oldu. Rummenigge 2002 yılının ortalarında Avrupa Futbol Kulüpleri Birliği'nin başkanlığına seçildi. Almanya'da düzenlenen 2006 Dünya Kupası öncesinde Rummenigge bu büyük uluslararası organizasyonun uluslararası elçisi olarak görev yaptı. 14 Şubat 2002'de FC Bayern Münih'in futbol departmanının bir şirkete dönüştürülmesinin bir parçası olarak yönetim kurulu başkanı seçildi. 2007 yılında Bavyera Liyakat Nişanı ile ödüllendirildi. Rummenigge, 21 Ocak 2008'de Avrupa Kulüpler Birliği'nin (ECA) ilk başkanı oldu.Karl-Heinz Rummenigge evli ve beş çocuk babasıdır.