Шеваль строил Идеальный дворец на протяжении 33 лет. Ежедневно он преодолевал путь более 20 километров, собирая камни необычной природной формы, которые использовал как материал для строительства. . Возводить сооружение Фердинанд начал в возрасте 43 лет, в 1879 году. Днем и ночью, в свободное от работы время, невзирая на погоду, с помощью простых строительных инструментов почтальон воплощал в реальность свою мечту. Построить Идеальный дворец, не имея надлежащего образования, было сложно, одной фантазии не достаточно. Для этого Фердинанд начал изучение архитектуры разных стран и времен. Для практической работы он изучал публикации парижского журнала «Le Magasin pittoresque». Таким образом, в архитектуре прослеживаются черты стилей Ближнего Востока, Китая, индуисткой мифологии и работ испанского архитектора Антонио Гауди.