La parte più antica del castello fu eretta nel 1185 a scopi difensivi da Jacques de la Porte de Saint Ours capostipite della Signoria di Quart. Il castello subì, in epoche diverse, parecchie trasformazioni. Le più rilevanti risalgono all’epoca in cui fu occupato dai Savoia (1378-1550). Adibito a cascina per circa un secolo perse molto del suo carattere originario. Il castello, ancora in restauro, non è visitabile. Al termine dei lavori ospiterà il Museo Etnografico Valdostano.
Il suo stesso nome (QUART) è legato al capoluogo e significa “ad quartum lapidem”, cioè posto alla quarta pietra miliare a partire da Aosta.
A Vollein, caratteristico villaggio della collina di Quart, nel 1968 si scoprirono i resti di una necropoli di epoca neolitica che rappresentano, secondo gli archeologi, le prime tracce di insediamenti umani in Valle d’Aosta. Il castello rimarrà aperto in cantiere evento dal 5 al 28 agosto 2016 dalle 14h alle 19h.