Le pavillon Saint Dominique, construit au milieu du XIXe siècle était à l’origine une simple demeure de gardien. Il est situé en retrait, à gauche de la grille d’honneur, donnant accès au parc de La Ferté-Vidame.
Le parc de 40 hectares, les ruines du château de Laborde, les pièces d’eau et les communs de l’ancien château des Saint-Simon (complétés par Louis-Philippe) forment un ensemble classé par les monuments historiques.
Le musée abrite toutes sortes de documents relatifs à la vie et à l’œuvre du mémorialiste Louis de Rouvroy duc de Saint-Simon (1675-1755). Les documents exposés sont, pour la plupart, des reproductions provenant d’originaux conservés dans les réserves de la Bibliothèque nationale de France ou dans des musées français ou étrangers ou encore dans des collections particulières.