Au 19e siècle, la ville de Québec accueille des immigrantes et immigrants d'origine irlandaise, chassés de leur pays par une terrible famine. Parmi eux, plusieurs trouvent du travail dans les chantiers maritimes de Québec qui sont alors en plein essor. Ces débardeurs, manœuvres ou artisans élisent domicile dans les rues du Cul-de-Sac, du Petit-Champlain – qu'ils appellent Little Champlain Street – et Champlain. La rue du Petit-Champlain est la traduction littérale de Little Champlain Street.

Anciens toponymes
La rue du Petit-Champlain est à l'origine un sentier qui mène à la fontaine Champlain. En 1688, ce sentier devient la rue De Meulles, en l'honneur de Jacques de Meulles (vers 1650-1703), intendant de la Nouvelle-France de 1682 à 1686. Au recensement de 1792, la rue De Meulles est inscrite sous le nom de rue Champlain. Sur une carte de 1874, cette rue est identifiée comme étant la petite rue Champlain pour la différencier de la nouvelle grande rue Champlain. Les anglophones parlant alors de la Little Champlain Street, les francophones adoptent peu à peu la traduction « rue du Petit-Champlain » qui s'impose progressivement au 20e siècle et remplace définitivement, dans les années 1960, les noms de rue Champlain ou de petite rue Champlain.