L'abbaye Saint-Sauveur de Charroux fut fondée au VIIIe siècle, vers 785.
Elle attira, lors de sa splendeur, de nombreux pélerins attirés par de précieuses reliques telles que la "Vraie Croix" et le "Saint Prépuce" (ou "Saint Vœu"). Aujourd'hui à l'état de ruine, elle ne conserve que sa tour lanterne à base octogonale, appelée "tour Charlemagne" pour rappeler que la première construction se fit sous son règne, et une partie son cloître.
Le reste servit de carrière, notamment aux XVIIIe et XIXe siècles, fournissant des pierres taillées pour de nouvelles constructions des hameaux voisins.
L'ensemble des vestiges est classé monument historique depuis 1950.