Remanié au XVIe siècle par la famille de Clèves, le bâtiment accueille aujourd'hui, notamment, l'office de tourisme, la salle du conseil municipal et la salle des mariages de la Ville.
Classé monument historique en 1840, il est parfois considéré comme le premier des châteaux de la Loire.
