À l'emplacement du palais de Philippe II incendié en 1604, Philippe III a fait ériger cette vaste demeure modifiée en 1772 par Sabatini. Longtemps résidence officielle des souverains espagnols, son dernier hôte a été le général Franco durant 35 ans. ..

Une chapelle abrite un Christ gisant de Gregorio Fernández, une oeuvre majeure de la sculpture espagnole réalisée en bois polychrome en 1605 d'après une commande de Philippe III.

Édifié en 1772, le pavillon du Prince a été totalement réaménagé en 1784 par Juan de Villanueva. C'est un pavillon de pierre et brique, décoré dans le goût de la fin du 18 e s. et raffiné : murs tapissés de soie et plafonds somptueux de style pomp..

Cette ancienne résidence du duc d'Arco devenue propriété royale en 1745 retient surtout l'attention par l'élégante collection de papiers peints (début 19 e s.) décorant les murs.