Depuis Ancel de Saint Yon, premier Seigneur du Marais au XIIIe siècle, plusieurs châteaux se sont succédés. Seuls, les douves, le colombier, les cachots et un souterrain, subsistent.

En 1772, Jean Le Maistre Trésorier Général de l'Artillerie et des Fortifications, fait élever le somptueux château actuel. De 1784 à 1844 Madame de la Briche, sa nièce et héritière, accueille des poètes et des écrivains qui sont évoqués dans une salle du Musée.

En 1899, l'arrière petite fille de Mme de la Briche, la duchesse de Noailles, vend le Marais à Anna Gould, qui épousera le duc de Talleyrand, et lance de grands travaux de restauration. Leur fille, Violette, organise le Musée du Marais autour des souvenirs de la famille Talleyrand.