Édifié pour l’essentiel au XVIIe siècle, le corps de bâtiment sur la rue Saint-Antoine est bâti sur des vestiges d’un hôpital dont subsiste une cave du XIIIe siècle.
En 1629, l'établissement reçoit une petite communauté de révérends et frères de la congrégation de Saint-Paul, dite des Barnabites, à qui sont confiés la gestion et les cours du collège de la ville. De nouveaux bâtiments conventuels sont construits en 1718. Les Barnabites restent en possession du collège jusqu'à la révolution en 1806 et créé un établissement secondaire public. La chapelle est démolie entre 1867 et 1869 et remplacée par un nouveau corps de bâtiment. L'aile en retour dans la rue Brunard date de 1885.