Cette rue se trouve près du site qu'occupait jadis le manoir de Robert Giffard, d'où sa dénomination. Premier seigneur de Beauport, Robert Giffard (vers 1587-1668) fait édifier son manoir en 1642, sur la rive est de la rivière Beauport, de même qu'un moulin à eau et un moulin à vent. Dans l'imposante demeure en pierre, dont la façade fait environ 18 mètres de longueur, il exerce la justice et vaque à ses tâches d'administrateur, comme la perception des rentes de ses censitaires. On a cru à tort que Montcalm y avait établi son quartier général lors de la bataille de Montmorency, le 31 juillet 1759; il aurait plutôt choisi un bâtiment situé à l'extrémité de l'actuelle rue de la Pagode, la maison Verrault, démolie en 1977. Sans héritier direct, Joseph Giffard (1645-1705), fils de Robert, fait don de la seigneurie à son neveu Ignace Juchereau Duchesnay en 1683. Les descendants de cette illustre famille se transmettront la propriété jusqu'en 1835, année où le colonel Bartholomew Conrad Gugy s'en porte acquéreur. Le domaine prend alors le nom de Darnoc, soit Conrad écrit à rebours. De 1845 à 1850, le manoir est loué à l'Asile de Beauport, qui y loge la direction, les malades étant hébergés dans un bâtiment avoisinant. Il ne reste plus aucune trace de l'ancien manoir seigneurial, disparu dans les flammes en 1879.

Ancien toponyme
La rue du Manoir portait autrefois le nom de rue des Carrières. À Beauport, en effet, des carrières de pierre sont exploitées dès le milieu du 17e siècle par le seigneur Robert Giffard et les Jésuites, puis par Pierre Parent, à partir de 1670. Les principaux gisements, dont on extrait des moellons de calcaire, se trouvent de chaque côté de la rivière Beauport. Comme l'indique une carte de 1690, le manoir et la carrière de Robert Giffard font face à la carrière de Pierre Parent, située à l'embouchure de la rivière. Parent, secondé par son épouse, Jeanne Badeau, en fera la première industrie de la région. Des édifices prestigieux de Québec seront construits avec la « pierre de Beauport », dont le Séminaire et le palais épiscopal. Restée près de deux siècles et demi dans la famille Parent, hormis quelques brèves interruptions, la carrière est vendue à Elzéar Verreault en 1912. Son exploitation se poursuit de nos jours et la pierre concassée qu'on en tire sert à la fabrication du béton.