Il castello, costruito su una bassa collina morenica digradante verso la Dora, colpisce per il suo aspetto caratteristico: un corpo centrale a pianta quadrilatera e quattro possenti torri cilindriche angolari coronate da caditoie. Non si conosce la data di costruzione dell'edificio primitivo, anche se la sua origine risale certamente al XII secolo, forse addirittura a quello precedente. Gli scavi archeologici condotti in questi ultimi anni hanno portato alla luce i resti di un donjon che potrebbe corrispondere alla "turre" citata in un documento del 1207.

A quell'epoca il castello comprendeva anche una cappella, segno che la fortificazione primitiva era già evoluta verso una tipologia più complessa. I primi signori conosciuti furono i De Amavilla, ma nella seconda metà del XIV secolo il complesso fu acquisito dagli Challant che lo trasformarono per adattarlo a nuove esigenze residenziali.

A cavallo tra XIV e XV secolo, il conte Amedeo fece demolire il donjon e ricostruire interamente il castello, dotandolo delle quattro torri angolari; dai risultati delle analisi dendrocronologiche eseguite su alcuni resti lignei della carpenteria, sembra che i lavori principali furono eseguiti nel primo decennio del XV secolo. Nei primi anni del Settecento, per l'intervento del barone Giuseppe Felice, l'antico maniero fu trasformato in una elegante dimora signorile, le vecchie strutture difensive furono abbattute e l'edificio assunse quell'aspetto fuori dal comune che anticipò in Valle lo stile rococò.

Attualmente il castello è chiuso al pubblico per completare l'intervento di restauro.