Datant du début du XVIIème siècle, le bâtiment fut d'abord un prieuré des chanoinesses nobles de l'ordre de Cîteaux (Bernardines) avant d'être occupé par des chanoines de l'ordre de Saint Jean de Jérusalem. Après la Révolution, les Ursulines s'y installèrent et en firent une maison d'éducation. Des plombs, encore visibles aujourd'hui, furent tirés par les révolutionnaires en 1793 et sont incrustés dans la porte.
La première messe y fut célébrée le 1er novembre 1645. La façade et les vantaux en bois massif sont inscrits à l'inventaire des Monuments Historiques. Au-dessus de la rosace de la façade, une statue de la Vierge reprend les armoiries du prieuré. A l'intérieur, on découvre a nef centrale aux clefs de voûte armoriées. Le dallage du chœur en marbre de Hauteville remplace le vieux parquet à bâtons rompus d'origine dans lequel deux trappes permettaient de descendre dans les caveaux ayant servi aux inhumations des Bernardines . En effet, vivant cloîtrées, elles ne devaient jamais sortir de l'enceinte du couvent, même mortes. De plus, ne devant pas être vues, elles assistaient à la messe depuis une loggia attenante au couvent, derrière une grille (en haut à gauche, en entrant). La verrière de gauche remplace l'ancienne grille qui séparait en 1824 la chapelle des Ursulines du reste de la chapelle. La verrière de droite était une chapelle qui servit plus tard de sacristie.