Au XVIe siècle, l'architecte angevin Jean Delespine est dépêché pour construire le corps de logis bâti autour d'un escalier à double volée contrariée. Il est aussi prévu 2 ailes en retour... Les travaux ne finiront pas, de Brie, le propriétaire, est à cours d'argent.

Au XVIIe siècle, c'est Guillaume Bautru qui finira les travaux, tout en respectant les plans Renaissance d'origine : l'homogénéité est sauvegardée.

En 1749, François Jacques Walsh, armateur nantais, rachète Serrant. Fils du capitaine corsaire, Phillip Walsh, d'une famille d'émigrés irlandais à la suite des Stuart et établie à Saint-Malo vers 1685. Les Walsh réaménagent la décoration intérieure, créent un parc à l'anglaise, édifient les deux pavillons, la monumentale grille d'honneur qui porte leur armes.

En 1830, Valentine Walsh de Serrant (petite-fille de François-Jacques) épouse Charles Bretagne Marie Joseph, duc de La Trémoïlle, descendance à laquelle appartient toujours Serrant.

Le château a été classé monument historique par arrêté du 29 septembre 1948, ainsi que le tombeau du marquis de Vaubrun.