В мае 1561 года из Толедо на северо-восток потянулись телеги, наполненные скарбом и кипами бумаг из королевских архивов.

За ними уныло тряслись в каретах многочисленные придворные Филиппа II в безупречных черных костюмах. Они были очень недовольны затеей с переездом. Оно и понятно: заштатный городишко Мадрид не мог тогда похвастаться ни славой, ни богатством. Там не было даже собора (он появился только в конце ХIХ века), не говоря уж о трибунале святой инквизиции или университете. Да что собор — там даже приличной реки не было (речушка Мансанарес не в счет), что затрудняло снабжение города продовольствием. «Какая глупость! — должно быть, думали про себя придворные. — А ведь в Толедо только-только отстроили королевский дворец!»
Причины, по которым Филипп II сменил роскошные толедские покои на скромный охотничий замок в Мадриде, неясны. Монарх не оставил в документах ни строчки о таком важном для страны решении. Остается только гадать: может, его привлекали богатые дичью мадридские леса, где могла охотиться королевская семья? Или он пошел на поводу у юной супруги Елизаветы Валуа? Тринадцатилетняя француженка заболевала от тоски в аскетичном и мрачноватом Толедо. А может быть, он бежал от спесивой толедской знати и занудствующего архиепископа? Или ему не давали покоя амбициозные урбанистические прожекты?
Толедо провожал двор с бесстрастием настоящего идальго — еще вернутся. Монархи тогда часто «кочевали» по стране: Вальядолид — Бургос — Сарагоса... Но ни Филипп II, ни последующие правители не вернулись, прочно обосновавшись всего в 70 километрах от величественного города на берегу Тахо.