Berthold Konrad Hermann Albert Speer 1905. március 19-én Mannheimben született, felső-középosztálybeli családban. A húszas évek elejétől Karlsruhéban, Münchenben, majd Berlinben tanult.
Pályaválasztásában nagy szerepet játszott, hogy apja és nagyapja is építész volt. Építészmérnöki diplomát 1928-ban szerzett. Az egyetemen rövid ideig a kor neves építésze Heinrich Tessenow tanársegédje volt. A professzor biztatására 1930. december 30-án részt vett egy náci gyűlésen, ahol Hitlert hallotta szóno- kolni.
Néhány nap múlva belépett a Nemzetiszocialista Német Munkáspártba (NSDAP). Építészként pártfel. vonulások építményeit tervezte/kivitelezte stábjával.








