Le château fut construit à la fin du XIIe siècle, alors que Robert Ier de Dreux, frère du roi Louis VII, était seigneur de Brie. Son plan général annonce certaines caractéristiques des châteaux du roi Philippe II Auguste qui engendra l’essor de la construction des châteaux au début du XIIIe siècle. L’architecte de Robert Ier a donc fait figure de novateur et de précurseur des plans réguliers. La tour principale (tour-porte), faisant office de donjon, est intégrée à l’enceinte et protège deux entrées opposées, fait unique en Ile de France. Le château resta dans la famille de Dreux jusqu’en 1254 puis passa dans la famille de Châtillon. Par dots et héritages successifs, il échut à Marguerite d’Artois, puis à sa fille Jeanne d’Évreux en 1319. A la fin du XIVe siècle, le château revint au domaine royal, puis à la famille d’Orléans. A partir de 1429, la ville fut prise et reprise par les Français et les Anglais. Le fait majeur reste toutefois le siège mis en septembre 1430 par le comte de Stafford, qui provoqua d’immenses dégâts, tant dans la ville que dans le château. Racheté par la ville en 1803, le château fut revendu en 1813. En 1879, un propriétaires fit raser ce qui subsistait de la tour Saint-Jean, pour édifier un bâtiment moderne.
La commune racheta le château en 1923 et le fit classer M.H. en 1925. L’année 2003 voit le début du programme de restauration du château, avec le remontage de courtines sur plus de six mètres de hauteur, la restauration de la tour de Brie, puis la déconstruction de la maison du XIXe, permettant la reconstruction partielle de la tour Saint-Jean, selon les relevés archéologiques.