Ce nom rappelle le souvenir de l'agglomération qui s'est formée au 17e siècle à la croisée des chemins reliant Beauport à Charlesbourg. Le Petit-Village est connu sous ce nom depuis au moins 1672, date à laquelle les Jésuites y font allusion, dans un récit où il est question des villages de leur seigneurie : « Le plus petit est celluy qu'on appelle pour cela le petit village ». Il regroupe alors six habitations. Il apparaît par ailleurs sur une carte du géographe Villeneuve datée de 1688.

En 1912, soit plus de deux siècles plus tard, l'agglomération demeure modeste : 13 familles seulement y habitent. On l'appelle à l'époque le « village du rang Fleury », nom qui lui a été attribué après l'arrivée de Samuel Fleury en 1846. Au sud du village, un « faubourg des Acadiens » prend naissance en 1918 lorsque viennent s'établir les frères Turbide, originaires des Îles-de-la-Madeleine. Le développement de la localité s'accélère au cours des années 1950, assez pour justifier la création d'une paroisse, Notre-Dame-de-l'Espérance, en 1961. Aujourd'hui, le Petit-Village est un quartier de l'arrondissement de Beauport.

Le parc du Petit-Village se situe à proximité du chemin du Petit-Village.

Anciens toponymes
Le chemin du Petit-Village était appelé couramment traverse du Petit-Village ou route Saint-Ignace-nord jusqu'à ce que ces noms soient remplacés par celui de rue Petit-Village, adopté le 1er avril 1935. Le mot « traverse » rappelle peut-être que ce chemin permettait de traverser de Beauport à Charlesbourg ou simplement qu'il traversait le Petit-Village. Quant au nom « Saint-Ignace », il évoquerait celui de la paroisse de Saint-Ignace-de-Loyola, fondée en 1914, à laquelle le Petit-Village a été rattaché jusqu'en 1961.