La prima costruzione risale ai normanni, ad opera di Riccardo da Camarda. Fino al 1470 il castello fu abitato dai vari signori, tra i quali si ricordano Pietro Tempesta e Bernando del Balzo.

Nel castello fu ospitato, nel 1735, Carlo III di Borbone, che agli inizi del suo regno volle personalmente visitare i territori del napoletano avuti in seguito alla guerra di successione polacca.

Attualmente, oltre alle tre torri ancora i piedi, esistono tracce di almeno altre cinque. 

Esse erano formate da un piano interrato, adibito prevalentemente a deposito, da un piano terreno, i cui mezzi d'offesa guardavano prevalentemente all'interno, e da due piani superiori aperti sul cortile, ad eccezione del torrione sud.

Il castello possiede almeno quattordici pozzi, utilizzati dagli abitanti per rifornirsi d'acqua in caso d'assedio.