Le site a connu quatre phases de développement, de cent ans en cent ans:
- Construit en 1475-76, un premier manoir est élevé très probablement à l’intiative d’un certain Salerne. L’édifice se trouve à Ouilly-le-Vicomte. On ignore tout de ce prime ordonnateur ainsi que de la destination du domaine qui, de façon inaccoutumée dans le Pays d’Auge, est séparé de la route voisine par un mur.
- Cent ans plus tard, ce manoir tombe en désuétude, peut-être parce que sa façade ouest penche dangereusement. Il est racheté par Thomas Vimont ou par son fils Robert, qui ont une propriété juste à côté. Les Vimont sont de riches marchands de Lisieux. En 1576-77, ils font construire le pavillon nord et la galerie, visiblement à des fins de plaisance et de prestige. L’ancien manoir est transformé à moindres frais en pressoir: on se borne à rabaisser la toiture.
- Cent ans plus tard encore, dans les années 1675, on construit le pavillon sud, qui sera flanqué par la suite d’un escalier permettant d’accéder à ce nouvel édifice sans passer par le pavillon nord.
- Un siècle se passe encore, enfin, avant que ne soit percée la nouvelle route de Lisieux à Pont-l’Évêque et Honfleur, en 1774-75. C’est l’actuelle D579. Ce nouvel axe éloigne le site des préoccupations du temps. Son rattachement à la ferme voisine à compter de 1794 le reléguera définitivement au rang de bâtiment agricole.
- Un peu moins de cent ans plus tard, dès 1865, des observateurs avertis témoignent qu’on ne sait plus rien du bâtiment.
A la fin du XIXe s., l’oubli est tel qu’on attribue la commande de la galerie et des pavillons aux Mathurins, un ordre religieux qui a tenu l’hôpital de Lisieux du XIIIe au XVIIIe s. On a supposé que c’était un lieu d’aération pour leurs malades gênés par les miasmes de la ville.
