| En 1567, l’incendie mis à l’église Notre-Dame par les Protestants se transmet à la tour : la toiture à pans en plomb et en ardoise est détruite. En 1692, un pan de l’enceinte de la tour s’effondre sur le jardin de l’Abbaye. En dédommagement, les religieux utilisent la motte jusqu’au pied de la tour. Au XVIIIème siècle, une glaçière est aménagée dans une galerie, à l’Est, et le sommet de la tour, menaçant de ruine, est diminué de trois mètres. En 1789, une maison est construite sur la motte en contrebas du chemin de ronde de l’Ouest et en 1793 une partie de la motte est dégagée pour favoriser l’accès à la place Saint- Firmin. La tour est vendue à Monceau Denevers et Hême de Beaugency. Ne pouvant arriver à la démolir, ils utilisent la partie inférieure en magasin. En 1840, les piliers soutenant la voûte de la salle du rez-de-chaussée chutent et l’édifice est classé Monument Historique sur intervention de Prosper Mérimée. Le donjon sert de magasin au Dépôt de mendicité. En 1881, les parties hautes sont détruites à la suite d’un incendie provoqué par l’entrepôt de bois du Dépôt de mendicité. Le Ministère de l’Instruction Publique et des Beaux-Arts interdit cet usage. Propriété de l’État, la Tour « de César » connaît des campagnes de restauration régulières et d’entretien afin d’assurer sa conservation. |