L’édifice est inscrit au titre des Monuments historiques depuis le 24 juillet 1989.
En 1109, Hélie de La Flèche, seigneur de Château-du-Loir, décide la construction de ce prieuré bénédictin, qui, avec sa chapelle, dépendent de l’abbaye Notre-Dame de Vézelay (Bourgogne), et sont transformés en habitations après la vente comme bien national après la Révolution française, en 1791.
La chapelle, visible depuis la voie communale, est élevée en grès crosse, en grès roussard et calcaire dur. Ses murs font environ 1,60 mètre d’épaisseur. On distingue des traces de fenêtres romanes, et de fenêtres ogivales, toutes murées, au-dessus du chœur. Une pierre d’angle, vestige d’une construction gallo-romaine, témoigne de la longue et riche histoire de la commune. La chapelle de Saint-Lazare, desservie dans celle du prieuré, était à la présentation du prieur.
Sur le bâtiment principal, invisible depuis le domaine public, certaines ouvertures attestent d’une architecture typique des 12e et 13e siècles. A noter que la chapelle bénéficia du titre d’église aux 15e et 16e siècles.