Уже летом началась перестройка здания, в нём оборудованы конюшни и манеж. Только в 1802 году император Александр I распорядился привести здание в "прежнее состояние". Самый пышный дворец предыдущего царствования, творение Ивана Егоровича Старова, был ненавистен Павлу I, как и всё, что имело отношение ко времени его венценосной матери - Екатерины Великой. И не мудрено: у Павла были основания подозревать свою мать в причастности к смерти его отца - Петра III. К тому же, она практически отстранила сына от власти и, не имея особых прав на престол, царствовала не до совершеннолетия Павла, а вплоть до самой своей смерти в 1796 году. Дождавшись смерти матушки, Павел стал демонстративно проявлять презрение ко всему, что было связано с её именем и царствованием. Не пожалел он и величественный Таврический дворец, пожалуй самый роскошный дворец эпохи. Сегодня дворец выглядит не как памятник "галантного века" - сухое казенное здание, приспособленное для нужд Государственной думы в начале XX века.