Viollet-le-Duc était un architecte très cultivé, passionné par le Moyen Âge. Il s'est donné pour mission de défendre le patrimoine médiéval qui, en son temps n'intéresse pas grand monde. Les cathédrales et les châteaux tombent en ruines dans l'indifférence générale. L'architecte décide alors de les restaurer. Pour lui, « Restaurer un édifice, ce n'est pas l'entretenir, le réparer ou le refaire, c'est le rétablir dans un état complet qui peut n'avoir jamais existé à un moment donné. » Convenons que cette approche fasse frémir bien des historiens ! Viollet-le-Duc n'hésite pas à recréer de toutes pièces des éléments issus de son imagination pour parvenir à cet « état complet ». Il prend bien des libertés quant à son interprétation de l'Histoire, et y ajoute naturellement sa touche personnelle. De 1853 à 1911, Viollet-le-Duc et son successeur Paul Boeswillwald redonnent son aspect médiéval à la cité en détruisant les constructions parasites entre les deux enceintes, en recouvrant de lauze grise les tours et en restaurant les décors. Dans les années 60, les tours gallo-romaines sont coiffées de tuiles.