Le manoir, construit au XIVe siècle et remanié à plusieurs reprises, renferme une impressionnante cave monolithique creusée dans le calcaire par la congrégation des sœurs de Notre Dame de Poitiers vers 1085. On suppose qu’elle servait de lieu de culte pendant la guerre de Cent Ans. Au XIXe siècle, cette cave a été utilisée à des fins moins mystiques, mais tout aussi secrètes, par Rodolphe Salis et son groupe d’acolytes, les hydropathes.
Rodolphe Salis, fondateur du célèbre cabaret parisien « Le Chat Noir » rendu célèbre par l’affiche de Steinlin, y résidait régulièrement, car le manoir avait été acheté par sa tante. On raconte qu’il entretenait des relations particulières entre la cave et les chambres. C’était un lieu retiré de Paris, où la gouaille et l’espièglerie se mêlaient. À sa mort en 1897, ses héritiers donneront le nom de « Vins du Chat Noir » aux vins du manoir. Le vignoble qui entoure la propriété est composé de différentes parcelles de vignes, situées sur une grande diversité de niveaux géologiques. Sa situation exceptionnelle sur un plateau et au sommet d’une colline en fait un terroir de premier choix.
Vers la fin du XIXe siècle, Rodolphe Salis, figure emblématique du cabaret parisien « Le Chat Noir », venait souvent se ressourcer dans ce manoir en compagnie de sa troupe de cabaret et de son ami, l’écrivain de romans policiers Charles Exbrayat. Par ailleurs, le manoir fut également la propriété de Jean Arnault, maire de Marigny-Brizay de 1857 à 1900.