Vers 1620, les Récollets possèdent une terre sur les bords de la rivière Saint-Charles sur laquelle ils ont établi un couvent du nom de Saint-Charles. Les pères quittent la Nouvelle-France en 1629, mais y reviennent en 1670. Ils se voient alors rétrocéder le site où se trouve leur ancien couvent qu'ils dénomment Notre-Dame-des-Anges, en souvenir de la chapelle d'Assise, berceau de l'ordre des Frères mineurs dont font partie les Récollets. En 1692, Mgr de Saint-Vallier fait l'acquisition de ce couvent pour y établir l'Hôpital Général (voir Langelier), fondé l'année suivante.