Ce parc occupe le haut d'une colline appelée autrefois le Mont-Carmel. Dès 1663, on peut voir à cet endroit un moulin à vent, propriété de Simon Denis de La Trinité. Trente ans plus tard, le gouverneur Frontenac (voir aussi De Buade) fait ériger autour de cette colline un ouvrage défensif appelé « cavalier ». Destiné à recevoir l'artillerie, le cavalier est situé devant la fortification principale et la domine. La population prendra l'habitude d'appeler « cavalier du Moulin » le cavalier du Mont-Carmel. Aménagé en parc depuis 1982, le cavalier du Moulin est la propriété du gouvernement du Québec.