Vista generale del castello, dopo il restauro. Lato sud (foto: ASBC)

Il castello di Ussel fu edificato ex-novo nelle forme attuali nel corso del XIV secolo, senza subire in seguito trasformazioni significative.
La costruzione si deve a Ebalo II di Challant intorno al 1343, quando trovò soluzione la complessa lite di famiglia scoppiata alla morte di Ebalo Magno per i diritti di successione sui beni di questo illustre esponente della dinastia Challant.