A l’origine, sur ce site féodal sur lequel était édifié un château fort occupé par les Anglais durant la guerre de cent ans, Alexandre de La Vove dont les domaines s’étendaient tout autour de Tourouvre fait construire en 1578 un petit manoir dans le style rustique percheron de l’époque.

Au XVIIIe siècle, les descendants de la famille de La Porte de Riants originaire de Tourouvre qui avaient repris le domaine agrandissent le manoir en lui adjoignant une façade en équerre déterminant ses proportions actuelles.

Au XIXe siècle, le château tombe progressivement à l’abandon jusqu’à ce que Alexis Le Veneur de Tillière en hérite. Il le restaure profondément en 1867 dans le style anglo-normand très en vogue à l’époque. La brique recouvre alors toutes ses ouvertures et lui donne ce style si singulier qui est le sien aujourd’hui. Il faut dire que la glaise à partir de laquelle elles sont fabriquées a donné probablement son nom au village de La Poterie et que l’existence d’une briqueterie, les Chauffetières, voisine de La Guimandière sur la N12 et toujours en service a certainement facilité cette rénovation.  

C’est à cette période que le Marquis Jacques-François de Chambray, originaire de Chambray dans l’Eure, en hérite et y établit son équipage de chasse à courre. Depuis La Guimandière il parcoure tout le sud de la Basse Normandie et prend durant sa longue vie plus de 2500 cerfs. Veneur fameux, sa légende et ses récits sont bien connus de tous les chasseurs normands.

 Chambray meurt en 1910 et La Guimandière passe alors à l’un de ses amis chasseurs, M. de La Palme, avant d’être repris en 1954 par la famille Baggio qui occupe toujours aujourd’hui le domaine et en prend soin.

A l’occasion des Journées du Patrimoine, les visiteurs peuvent ainsi découvrir le château et son parc qui témoignent de cette longue histoire. Une partie du château est d’ailleurs ouvert à la location sur le site :  Airbnb la Guimandière.