Résidence des Comtes de Genève jusqu’en 1394, propriété de la Maison de Savoie à partir du XVe s., puis des Comtes de Genevois-Nemours au XVIe s., le château fait de nouveau retour à la Savoie à l’extinction de la branche des Genevois-Nemours.
Abandonné au XVIIIe siècle, le château est utilisé comme caserne de 1742 à 1947 puis sert d’abri aux sans-logis de l’après-guerre jusqu’à un incendie en 1952. Racheté à l’armée par la ville d’Annecy un an plus tard, le château est alors restauré pour accueillir le musée. Il est aujourd’hui géré par la Communauté de l’agglomération d’Annecy.