Le château de Saint-Point remonte au Moyen Âge. Il forme encore une masse assez importante bien qu’il ait été remanié à diverses époques. De l’histoire ancienne nous ne savons qu’une chose : c’est qu’il fut assiégé et pris par les Français en 1471. En juillet 1789, quelques habitants de Saint-Point se réunirent pour saccager le château : les toitures furent endommagées, les portes et fenêtres brisées, ainsi que le mobilier.
Pierre de Lamartine, chevalier de Pratz, père du poète acheta le château et ses terres en 18O1. Alphonse de Lamartine, lors de son mariage en 1820 avec une Anglaise Mary-Ann Birch, reçut le château et il en fit sa demeure familiale.
De retour d’un voyage en Angleterre avec sa femme, enthousiasmé par le style gothique anglo-saxon, il s’en inspira dans la restauration du château : il fit construire entre les deux tours, à l’est, une galerie quadrilobée avec terrasse, et un porche gothique à colonnettes et à clochetons qui précède la porte d’entrée du château, à l’ouest. S’ajouta également, à l’angle des écuries et de l’orangerie, une tour dite de l’horloge. Dans le même temps, il entreprit l’aménagement des jardins à l’anglaise.
Quelques années plus tard, Lamartine fit construire, accolé à la façade sud, un pavillon et une tour d’escalier.
Après le décès de sa mère en 1829, il fit édifier, à côté de l’église romane, un tombeau où reposent sa mère, ses enfants, sa belle-mère, sa femme, lui et Valentine de Cessiat de Lamartine, sa nièce, la dernière inhumée en 1894.
Le château est resté tel qu’il peut être visité aujourd’hui : au rez-de-chaussée, ouvrant de plain-pied sur le départ d’un monumental escalier, la salle à manger où Victor Hugo, Charles Nodier, George Sand, Franz Liszt, Chopin, les Dumas, Eugène Sue, les Girardin, Sophie Gay, Hubert Saladin, Quinet, Béranger, etc… ont été conviés. Quelques marches permettent d’accéder au salon éclairé par quatre grandes fenêtres et portes-fenêtres ouvrant sur le parc, abritant le musée familial des objets que Lamartine aimait garder auprès de lui, sous le regard bienveillant du poète peint par l’artiste marseillais Ricard.