История замка Фужер начинается около 1000 года, когда Бретань стала герцогством.

Чтобы защитить ее границы от посягательств со стороны Франции и Нормандии, район был укреплен несколькими замками. Одним из них был Фужер. Сначала замок этот был деревянным, но после того, как он был сожжен в 1166 году Генрихом II Плантагенетом (отцом Ричарда Львиное Сердце), барон Фужера начал строить на его месте каменные укрепления. Замок обновлялся, достраивался и перестраивался вплоть до XV века. Процесс этот прекратился лишь в XVI веке, когда Бретань окончательно была присоединена к Франции и Фужер потерял свое военное значение.
Предполагалось, что если врагам таки удастся войти в ворота, то здесь они будут пойманы в своеобразный"мешок". Двор хорошо простреливался с нескольких башен. Кроме того, была возможность обрушить мост, соединявший его с внутренним двором замка и, таким образом, усилить оборону с помощью еще одного рва.