1905년 만하임의 중산층 가정에서 태어난 슈페어는 아버지의 뒤를 이어 건축가가 되었다. 건축가 테세노의 조교로 일하던 무렵 히틀러와 민족사회주의 이념을 접하고 나치당에 가입한다. 나치당 청사 개조, 뉘른베르크 전당대회 무대 연출로 히틀러의 눈에 띄어, 이후 베를린을 비롯해 독일 주요 도시 개발 계획을 입안하고, 총리 청사를 건설하는 등 ‘히틀러의 건축가’로 활약했다. 1942년 37세의 나이로 최연소 군수장관 임명되었으며, 제국의 2인자로 불릴 만큼 히틀러의 총애를 받았다.
종전 후 연합군에 체포되어 괴링, 히믈러, 로젠베르크, 카이텔, 리벤트로프, 슈트라이허 등과 함께 뉘른베르크 전범재판에 회부된다. 슈페어는 나치 지도부의 집단 책임을 주장하며 연합군 검사 측으로부터 ‘최고의 피고인’, ‘선량한 나치’로 불렸다. 빼어난 자기변호와 죄를 시인하는 태도로 20년형을 선고받아 나치 독일의 장관으로서는 유일하게 교수형을 면했다.
메모광이었던 슈페어는 슈판다우 형무소에서 편지, 일기, 업무일지 등을 바탕으로 기억을 되살려 회고록을 작성, 1966년 출소와 동시에 Erinnerungen라는 제목으로 출간해 베스트셀러 작가가 되었다.
1981년 영국 방문길에 올랐다가 심장마비로 사망했다.