Bâtie sur un éperon rocheux dominant la rivière et la vallée de l’Arnon, une première construction en bois dont il ne reste rien aurait été démolie au Xe siècle. Une seconde bâtisse fut assiégée et détruite par Philippe Auguste en 1188, lors des guerres de mouvements. Le château actuel date de la fin du XIIe siècle, début du XIIIe siècle, la construction s’est poursuivie jusqu’au XVe siècle, avec des rajouts à la renaissance (fenêtres à meneaux). Lors de la fronde en 1651, le château perdra, sur ordre de Mazarin, le haut de son donjon, une partie de ses remparts et son chatelet d’entrée. Il a notamment appartenu à l’amiral de Culant (1360–1444), à Maximillien de Béthune, duc de Sully (1599–1621) puis au Prince de Condé.
Durant la Révolution,les terres du château furent partagées entre quelques familles et la forteresse fut vendue comme bien national. Le château de Culan a été remarquablement restauré dans la période 1950-1980 par son propriétaire, Jean Ferragut, qui y organisa de belles expositions (Picasso, Bernard Buffet, tapisseries flamandes, etc.). C’est l’une des rares forteresses à posséder encore ses hourds en bois qui permettaient de jeter des pierres et divers projectiles sur les assaillants. Le château possède de belles cheminées monumentales du XVe siècle.
Autour du château ont été aménagés à la fin du XXe siècle des « jardins médiévaux ».
