Ce toponyme est d'origine inconnue. Peut-être renvoie-t-il à l'un des plus grands musées du monde, l'Ermitage de Saint-Pétersbourg, en Russie. Le musée occupe le palais construit pour l'impératrice Catherine II (1729-1796). Il renferme plus de mille salles et quelque deux millions de pièces, parmi lesquelles des chefs-d'œuvre de peintres aussi illustres que Raphaël, Rembrandt et Matisse.

Il fait peut-être aussi allusion à l'Hermitage, l'un des noms donnés au manoir construit pour l'intendant Michel Bégon en 1718, dans le secteur actuel de Château-Bigot.