Ve městě se vystřídalo mnoho dynastií, což se podepsalo i na městské architektuře. V minulosti zde vládli různí panovníci od Rakouska po Francie. O to, že dnes je Madrid metropole se zasloužil Filip II., Který během jeho vlády do města přestěhoval svůj celý dvůr.
Ve městě se nacházejí pozůstatky starého arabského opevnění z 10. století. Jako pozůstatky maurské kultury se zachovaly cihelné věže na kostelech San Nicolás de los Serviti a San Pedro el Viejo, které pocházejí ze středověku.
Později architekturu ve městě velmi ovlivnila vláda Habsburků, kteří zde vládli v 16. a 17. století. Nejvíce budov, které daly vybudovat se zachovaly na náměstí Plaza Mayor. Mezi nejvýznamnější stavby, které pocházejí z tohoto období patří Plaza Mayor Puente de Segovia, Casa de la Villa nebo El Escorial.
Dále výstavbu a vzhled budov ovlivnil francouzský rod Bourbonů v 18. a 19. století. V tomto období se stavěly ozdobné budovy, do kterých patří i Městské muzeum, kasárna Conde Duque a Královský palác.
V tomto období panovník Karel III. rozšířil Madrid o jeho zelené části a čtvrt Huertas a založil jedno z největších světových muzeí Pradu.
Mnoho staveb pochází iz 20. století. Mezi ty nejzajímavější patří budova pošty Correos, nebo kino Palacio de la Música. Mezi nejznámější moderní stavby patří Puerta de Europa a bílá věž Torre Picasso.
