Dans la relation de son premier voyage en 1603, Champlain écrit « Il y a, le long de la coste dudict Québec, des diamants dans des rochers d'ardoyse ». Jacques Cartier avait cru lui aussi, lors de son voyage de 1541, trouver des diamants dans les pierres scintillantes de la falaise. Ce qui se révèle plus tard du quartz laisse tout de même son nom au cap situé à l'extrémité est du promontoire sur lequel la haute-ville de Québec se construit, au 17e siècle. Cette avenue appartenant à la Commission des champs de bataille nationaux forme une boucle qui longe en partie le cap Diamant.

Ancien toponyme
L'avenue du Cap-aux-Diamants s'appelait autrefois avenue du Cap-Diamant. Cette dénomination a été changée parce que l'appellation Cap-Diamant est considérée par les historiens et les linguistes comme une traduction littérale de Cape Diamond, elle-même traduction de la dénomination française d'origine « Cap-aux-Diamants ».