Albert Speer również twierdził, że nie różnił się od nikogo innego w swoim pokoleniu, który został uwiedziony przez lidera nazistów. „Sam Hitler pojawił się w czasie, który dla nas młodych ludzi był czasem rozczarowania. Był to czas, w którym nie mieliśmy nadziei na naszą przyszłość, a teraz pojawił się mężczyzna, który powiedział, że będziemy mieli nadzieję, że damy radę, zarządzimy tym, Niemcy odzyskują prosperitet. Oczywiście była to wystarczająca pokusa, aby o tym pomyśleć.”
Ale czy dzwony alarmowe nie powinny zadzwonić? W 1934 roku, podczas Nocy Długich Noży, SS zamordowało około 400 przeciwników Hitlera. Speer został wysłany, aby przystosować biuro wicekanclerza Franza von Papena na siedzibę bezpieczeństwa. W swoich wspomnieniach „Inside the Third Reich”, Speer wspominał, że widział kałużę wyschniętej krwi, gdzie jeden z asystentów Papena został postrzelony. „Odwróciłem wzrok i od tego czasu unikałem tego pokoju” – napisał. Powiedział Charltonowi: „To jest całkowite moje moralne niepowodzenie, że nie miałem żadnych reakcji, i byłoby źle teraz jakiekolwiek usprawiedliwienia. W rzeczywistości widziałem tę plamę krwi i odsunąłem ją w mojej pamięci. Nie istniało to już, a ja kontynuowałem pracę. Gdybym tylko trochę o tym pomyślał, powinienem był odejść od Hitlera w tym momencie. Ale tego nie zrobiłem.”
Albert Speer nigdy nie zdążył zrealizować swojego najbardziej ambitnego projektu architektonicznego: kompleksowego przebudowania Berlina, który miał zostać przemianowany na Germanię, przyszłą stolicę świata. Speer wyobrażał sobie na jego sercu rozległy aleję północ-południe, zakończoną Wielkim Hollem z kopułą 16 razy wyższą niż Bazylika św. Piotra w Rzymie. Przewidywano, że wnętrze byłoby tak rozległe, że po wypełnieniu powietrzem 180 000 zebranych nazistów, mogłyby tworzyć się chmury deszczowe na suficie. Zamiast tego, w 1939 roku Hitler rozpoczął drugą wojnę światową, pogrążając Europę w sześcioletnim piekle.
W 1942 roku mianował Speera ministrem ds. produkcji broni, korzystając z jego niezwykłych umiejętności organizacyjnych, aby sprostać wymaganiom totalnej wojny. Architekt w wieku 37 lat był jednym z najpotężniejszych ludzi w Trzeciej Rzeszy. Aby stale zasilać maszynę wojenną nazistów ogniem, Speer wykorzystywał pracę przymusową w swoich fabrykach, kopalniach i kamieniołomach. Ponad siedem milionów przymusowych pracowników było zatrudnionych przez niemiecki przemysł, w dużym stopniu skoncentrowanych w sektorze uzbrojenia nadzorowanym przez Speera. Niektórzy byli pracowani na śmierć w strasznych warunkach. Historyk Hugh Trevor-Roper powiedział w dokumentalnym filmie BBC Reputations z 1996 roku, pt. „Nazi, który przeprosił”, że Speer wiedział, co robi. „Miał potężne metody kontroli i mógłby korzystać z systemu obozów koncentracyjnych, gdyby chciał, ale zdobył pracę, co zrobiło wrażenie na Hitlerze” – powiedział.