Cette chapelle est lié au prieuré des sœurs bénédictines.
La construction initiale de la chapelle doit dater du début du XIIe siècle, époque où est créé à Saint-Hilaire un prieuré de religieuses bénédictines. En effet, cet édifice, qui comporte une nef unique de trois travées terminée par une abside arrondie, présente des éléments romans comme des arcs et des ouvertures en plein cintre, mais aussi des structures ogivales au niveau du cœur. La prieure, qui est Dame de Saint-Hilaire, ouvre cette chapelle aux habitants du village et ce lieu de culte monacal sert d’église paroissiale jusqu’à la Révolution. Cette situation particulière explique que cette église n’est pas, alors, conservée par la commune, comme dans les autres paroisses. Elle doit en effet être vendue avec le reste des bâtiments et des terres du prieuré comme propriété ecclésiastique devenue bien national en vertu de la Constitution civile du clergé. L’acheteur transforme le prieuré en ferme et désire faire de la chapelle une grange. Les citoyens de Saint-Hilaire s’y opposent et demandent, sous le Directoire, que leur église leur soit restituée. Dès 1795, un chanoine de Notre-Dame d’Etampes prend possession de l’édifice et la rend au culte. Sous l’Empire, la paroisse de Saint-Hilaire est réunie à celle de Chalo Saint-Mars et un décret impérial de 1813 autorise la vente par adjudication de « l’église supprimée de Saint-Hilaire ». Estimée à 700 francs, celle-ci est vendue au profit de la fabrique de la succursale ou paroisse de Chalo-Saint-Mars. L’acheteur du prieuré acquiert la chapelle qui est enclavée dans sa propriété, pouvant ainsi procéder, avec plus de vingt ans de retard, à sa transformation en grange.