Ouverte dès la première moitié du 17e siècle, cette voie ne prend le nom de rue des Jardins qu'à compter du 18e siècle. À cette époque, la rue longe les jardins des Récollets et des Jésuites. La propriété des Récollets occupe alors presque tout le quadrilatère délimité par les rues des Jardins, Saint-Louis, Sainte-Anne et la place d'Armes. On y retrouve une église et un couvent construits entre 1693 et 1722 qui seront la proie des flammes en 1796. Le terrain des Récollets comporte également un jardin aménagé « à la française », c'est-à-dire selon des dispositions parfaitement géométriques. À la suite de l'incendie, l'emplacement est choisi pour l'érection de la cathédrale anglicane Holy Trinity, la plus ancienne église de Québec (1800-1804) encore debout aujourd'hui. Quant aux Jésuites, ils occupent à partir de 1648 le terrain de l'actuel hôtel de ville où ils construisent une église et un collège et aménagent des jardins. L'église est démolie en 1808 et le collège en 1877. On songe d'abord à utiliser le site pour y construire l'édifice du Parlement, mais cette proposition n'est pas retenue. On y érige plutôt l'hôtel de ville de Québec, inauguré en 1896.