Installé dans l’Hôtel de ville jusqu’en 1924, il est transféré, à cette date, dans la chapelle du couvent des Augustines où il se trouve maintenant. A ce noyau initial se sont ajoutés en 1974 un bâtiment moderne de trois étages et, en 1988, un bâtiment ancien réaménagé permettant la présentation sur deux niveaux des œuvres du XIXe siècle et de la donation Hambourg-Rachet.