Le château de la Roche-Faton est élevé à l’emplacement d’un château plus ancien du XIIe siècle, qui a brûlé au début du XVe siècle lors des conflits opposant les Armagnac et les Bourguignons. On doit à Mathurin Pidoux la reconstruction de l’ancienne forteresse médiévale à partir de 1544. Le château comprend trois corps de bâtiments qui s’ordonnent autour d’une cour : le châtelet d’entrée flanqué de deux tours du XVe siècle attenant au corps de logis à deux ailes en équerre des XVe et XVIe siècles, deux ailes de communs du XVIIe siècle établis à l’emplacement des courtines dont deux tours sont conservées. Des douves, il ne reste qu’une pièce d’eau. A la fin du XVIIIe siècle, une terrasse est créée face au logis et une chapelle du XIXe siècle jouxte les communs.