De 1820 au début du 20e siècle, le domaine Atkinson occupait les hauteurs de Cap-Rouge, là où Jacques Cartier (1491-1557) et François de La Rocque de Roberval (vers 1500-1560) avaient tenté d'implanter une colonie entre 1541 et 1543. C'est en 1823 que Henry Atkinson (1790-1863), marchand de bois prospère, s'associe à son frère William pour acheter à Michel-Louis Juchereau Duchesnay (1785-1838), seigneur de Gaudarville, une vaste concession de terre à Cap-Rouge. Sur le cap, Henry fait édifier une villa appelée Carouge Cottage, puis Redcliff. En 1835, il achète Spencer Wood, à Sillery, et s'y s'établit. Les propriétaires vont alors se succéder au domaine Atkinson, parmi lesquels la compagnie Cap Rouge Pier and Wharf, qui s'en porte acquéreur en 1876 à la suite d'une vente aux enchères. En 1911, le domaine passe au National Transcontinental Railway qui y fait construire des piliers d'un viaduc ferroviaire, appelé communément « tracel ». Le manoir et ses dépendances disparaissent à cette époque. Ce site historique, protégé depuis 2006, est aujourd'hui géré par la Commission de la capitale nationale du Québec.