Podobně jako u jiných budov či náměstí v Berlíně, i na památník byla vypsána architektonická soutěž. V roce 1944 se jí vítězkou stala Christiane Jacob Marková, ale návrh černé betonové desky, kde by byly napsány jména všech obětí holocaustu, se nelíbily tehdejšímu německému kancléři Helmuta Kohlovi. Ten projekt označil za příliš megalomanský. O tři roky později byla vypsána další soutěž. Tu vyhrál newyorský architekt Peter Eismann a sochař Richard Serr.
Památník tvoří 2711 šedých betonových kvádrů různé výšky. Ty se rozkládají na ploše více než 19 000 m2. Tento památník holocaustu z výšky evokuje dojem vln.
Pod památníkem se nachází informační centrum, které nabízí archiv filmového, zvukového a obrázkového materiálu souvisejícího s holocaustem. Kromě toho se zde snaží dokumentovat jména všech Židů zavražděných v Evropě. Vypočítali, že kdyby měly být přečteny všechny jména a příběhy osob, které jsou tam zapsány, trvalo by to šest let a sedm měsíců.