Le nom de l'allée et de l'avenue des Gouverneurs rappelle que l'ancienne ville de Sillery a été pendant près de cent ans le lieu de résidence des lieutenants-gouverneurs du Québec. En 1870, trois ans après que la fonction de lieutenant-gouverneur a été instituée par la Loi constitutionnelle, le gouvernement fédéral cède au gouvernement du Québec la villa de Spencer Wood, grand domaine qui s'étend en retrait du chemin Saint-Louis jusqu'en bordure de la falaise dominant le Saint-Laurent. C'est là un lieu digne d'accueillir le représentant de la reine au Québec. Le rôle du lieutenant-gouverneur consiste notamment à convoquer et à dissoudre l'Assemblée sur l'avis du premier ministre, à sanctionner les lois votées par les députés et à ratifier les décrets du Conseil exécutif.

Vingt et un lieutenants-gouverneurs se succéderont dans la magnifique demeure de Sillery, jusqu'à ce qu'elle soit rasée par les flammes le 21 février 1966. Le lieutenant-gouverneur Paul Comtois (1895-1966) périt dans l'incendie. Le domaine de Spencer Wood, rebaptisé Bois de Coulonge en 1950, est aujourd'hui un parc public. Aux alentours de l'avenue des Gouverneurs, plusieurs voies de circulation ont été dénommées en l'honneur de lieutenants-gouverneurs du Québec.

Situé tout près du Château Frontenac et faisant face au fleuve, le jardin des Gouverneurs est l'un des plus vieux jardins d'Amérique du Nord. Aménagé en 1647, il est réservé au gouverneur qui habite alors le château Saint-Louis. Après l'incendie du château en 1834, la population commence à fréquenter le jardin qui sera officiellement ouvert au public quelques années plus tard. Appelé pendant longtemps « du Fort », l'espace devient, au milieu du 20e siècle, le « jardin du Gouverneur » et, dans les années 1970, le « jardin des Gouverneurs ». En 1868, c'est du jardin des Gouverneurs que les premiers moineaux importés d'Europe sont lancés... une espèce qui n'aura pas de mal à s'intégrer au pays, c'est le moins qu'on puisse dire!

La promenade des Gouverneurs est nommée ainsi en l'honneur de tous les gouverneurs qui se sont succédé à la tête du Canada depuis le Régime français et ont apporté leur contribution au développement du pays. Construite en 1959 et 1960, à l'extrémité ouest de la terrasse Dufferin, la promenade des Gouverneurs longe la Citadelle et mène au parc des Champs-de-Bataille, mieux connu sous le nom de « plaines d'Abraham ».

Ancien toponyme
Le 6 février 2006, dans le cadre de l'harmonisation des noms de rues, rendue nécessaire par le regroupement municipal du 1er janvier 2002, le toponyme allée des Gouverneurs a été donné à une partie de l'avenue des Gouverneurs.