Construit dès le milieu du Xe siècle au sommet d’un éperon rocheux pour arrêter les Normands, le château fort Saint-Hugues est un modèle d’architecture militaire des Xe, XIe et XIIe siècles. Le château sera dirigé par la puissante lignée des seigneurs de Semur, l’une des plus influentes familles bourguignonne, dont est issu, notamment, Saint-Hugues, grand abbé de Cluny. Le donjon, la pièce maîtresse du château, présente un beau spécimen de donjon roman.