Le site de Saint-Loup, par sa position stratégique au confluent des rivières du Cébron et du Thouet, de la plaine du Poitou et du bocage Gâtinais, est très tôt entouré d’une installation de défense militaire, dont le château constitue le maillon nord. Les premiers écrits mentionnent, au XIe siècle, Drogon, premier seigneur connu. Au cours de la période médiévale marquée par la famille de Dercé, originaire du Loudunais, est édifiée une forteresse dont subsistent le Donjon, la Tour carrée (XIVe siècle) et les bâtiments adjacents (XVe siècle), remaniés à la fin du XIXe siècle dans le style troubadour.