Tout château a des légendes, le Fort La Latte n’échappe pas à cette règle. Mais est-ce une légende cette rumeur persistante qui figure dans de nombreux récits du Moyen Age repris plus tard par un bon nombre d’historiens : un banneret de Bretagne N. de Goyon, compagnon d’Alain Barbe Torte, aurait érigé à cette endroit vers 931 un donjon en bois pour surveiller les allées et venues des Normands et les repousser… Laissons à la légende qui a sans doute pour but d’attester que le nom prestigieux des Goyon remonte à des temps immémoriaux et approchons nous des certitudes quant à la famille de Goyon-Matignon et à l’édification du château. Les sires de Goyon, seigneurs de Matignon, édifièrent le château de la Roche-Goyon vers le milieu du XIVe siècle. Sur une crête rocheuse qui s’avance dans la mer s’élève l’enceinte flanquée de tours entourant un donjon cylindrique. Les ponts-levis permettent de franchir les deux profondes crevasses qui le séparent de la côte. Endommagés sérieusement pendant les troubles de la Ligue, le château est remanié et restauré entre 1690 et 1715 sur ordre de louis XIV qui l’utilise comme défense côtière. Il prend alors le nom de Fort La Latte.