Une première tour dite de "Brunehaut" est mentionnée en 1046 et un manoir porte ce nom en 1530. L'actuel château est une construction hétéroclite dont la première partie de la plus ancienne est connue sous l'appellation de "Pavillon neuf" depuis 1688.
Une première campagne d'adjonctions, menée entre 1873 et 1874 par l'architecte Lecoeur pour la famille de Viart, prolonge le "pavillon neuf" vers le nord et l'est. En 1931, une travée et deux tourelles sont rajoutées au nord-ouest. Le parc s’inspire de l'architecture rustique italienne. Il est l'oeuvre de Charles, puis d'Amédée de Viart de ma fin du XVIIIè à la seconde moitié du XIXè siècle.