Hôtel particulier du XVIIe siècle, profondément intégré à l’histoire de Rochefort, l’édifice qui abrite le musée occupe une place déterminante dans l’histoire de la ville. Classé monument historique en 1932, il est choisi pour abriter les collections de modèles et de sculptures de l’Arsenal. Ce premier musée naval ouvre ses portes en 1936. Fermé dès 1940, envahi par divers services administratif, il est réaménagé et accessible au public en 1974. Il est propriété du musée national de la Marine depuis 1978.