Cette avenue emprunte son nom à Charlotte Sheppard, l'une des filles de l'homme d'affaires William Sheppard (1784-1867). Au moment de son ouverture au milieu du 19e siècle, l'avenue Charlotte faisait partie de Bergerville, un lotissement créé à même le vaste domaine de Woodfield, propriété de William Sheppard.

Charlotte Sheppard épouse en 1839, à Québec, Robert Nugent Watts (avant 1821-1867), député de Drummond de 1841 à 1851; le couple habite Drummondville. Leur fils, William John Watts (1846-1907), industriel et propriétaire de moulins, fera également carrière en politique, d'abord comme député conservateur puis comme député libéral dans le comté de Drummond.

Bien que le nom de cette avenue soit en usage depuis le milieu du 19e siècle, il ne sera adopté officiellement qu'en 1924.