Liseden mezun olduktan sonra Speer, Karlsruhe, Münih ve daha sonra Berlin'de mimarlık eğitimi aldı. Speer daha sonra Berlin'de Heinrich Tessenow'un asistanı oldu. Nasyonal Sosyalist gruplarla ilk temaslarını da burada kurdu. 1931 yılında NSDAP'ye katıldı. Speer, Nasyonal Sosyalist fikirleri başarılı bir şekilde mimari bir estetiğe dönüştürdü ve bu da parti içinde hızla kariyer yapmasını sağladı. Adolf Hitler ile olan kişisel ve yakın dostluğunun da desteğiyle Speer, 1933'ten itibaren Reich'ın en popüler ve başarılı mimarı haline geldi. Speer'in ilk çalışmaları arasında, NSDAP'nin 1934'ten itibaren parti konferansını düzenlediği Nürnberg'deki geçit töreni alanı da yer alıyordu. Ayrıca, Reich adına Nasyonal Sosyalist ideoloji tarzında çok sayıda anıtsal bina inşa edildi. Speer ayrıca büyük etkinliklerin ve kitlesel mitinglerin düzenlenmesinde de büyük bir organizatör olduğunu kanıtladı. Örneğin, 1934'teki parti konferansında "Light Dome" gösterisinin sorumlu lideriydi. Hitler, Speer'de kendisini başka hiç kimsede olmadığı kadar geliştirebilecek ve ilham verebilecek bir arkadaş bulmuştu. Bu nedenle Ekim 1934'te onu "Führer'in Mimarı" ve 1937'de "Reich Başkenti Berlin" (Germania) için Genel Yapı Müfettişi" olarak atadı. Speer 1938 ve 1939 yılları arasında Berlin'de yeni Reich Şansölyeliğini inşa etti. Bu, Reich Şansölyeliği, Büyük Salon ve Führerpalais"'den oluşan planlanan "Kuzey-Güney Projesi"'ne entegre edilmişti. Bu bağlamda Speer, Berlin'deki Yahudi nüfusun kiralanmasından ve toplama kamplarına nakledilmesinden doğrudan sorumluydu.2. Dünya Savaşı'nın başlamasından sonra Speer, Reich Silahlanma ve Mühimmat Bakanı ve Tahkimat, Yollar, Su ve Enerji Genel Müfettişi olarak atandı. Speer 1943 yılında Reich Silahlanma ve Savaş Üretimi Bakanı olarak atandı. Bu görevde, savaş ve silahlanma hedeflerine ulaşmak için yardımlarını istediği binlerce zorunlu işçi ve toplama kampı mahkumunun sömürülmesi ve yok edilmesinden sorumluydu. Ancak, Hitler'in Mart 1945'teki intiharından kısa bir süre önce Speer, Führer'in tüm Alman altyapısını yok etme emrini yerine getirmesine izin vermeyi reddetti ("Operasyon: Scorched Earth"). İkinci Dünya Savaşı'nın sona ermesinden sonra suçunun izlerini büyük ölçüde silmeyi başaran Speer, kamuoyunu Yahudilerin imhası hakkında hiçbir şey bilmediğine ikna etmeyi başardı. Speer 1946 yılında tutuklandı, ancak daha sonra Nürnberg'deki Uluslararası Askeri Mahkeme tarafından sadece 20 yıl hapis cezasına çarptırıldı ve bu cezasını Berlin-Spandau'daki savaş suçları hapishanesinde çekti. 1966'da hapisten çıktıktan sonra Speer, suçsuz olduğu efsanesini edebi ve film düzeyinde inşa etmeye devam etti. Speer ile 1969 yılında biyografik bir belgesel film çeken tarihçi Joachim Fest tarafından istemeden de olsa desteklendi. Yayıncı tarafında ise Speer, 1969 yılında "Memories" ve 1981 yılında "The Slave State - My Confrontation with the SS" adlı kitaplarını yayınlayan Wolf Jobst Siedler'den süslü hayat hikayesinin inşasında istemeden de olsa destek aldı.Albert Speer 1 Eylül 1981'de Londra'da öldü. Ancak ölümünden sonra genç nesil tarihçiler Speer'in Holokost ile gerçek ilişkisini ortaya çıkarmayı başardılar.2. Dünya Savaşı'nın sona ermesinin 60. yıldönümü vesilesiyle, Albert Speer'in hayatının çok bölümlü biyografik film uyarlaması Mayıs 2005'te ARD'de yayınlandı. Yönetmen Heinrich Breloer, itirazlarının aksine Hitler'in mimarının "Auschwitz" hakkında bilgi sahibi olduğunu belgeleyebilmiştir.