Le prime testimonianze documentarie riguardanti il Castello Caracciolo risalgono ad epoca angioina, ma probabilmente la data di fondazione del maniero è precedente e si può porre, secondo alcuni storici, intorno al IV secolo.

Interamente rifatto nel 1571, di esso rimane traccia nel mastio cilindrico, che emerge dalla massiccia mole, e nella semitorre circolare, situata al centro della cinta muraria per interrompere l'uniformità della cortina e assicurare una più efficace difesa.

Ai Caracciolo si devono i successivi ampliamenti e la singolare forma, quasi triangolare, su tre piani.

Una scalinata in pietra, a cielo aperto, conduce ad un terrazzo a terrapieno posto davanti all'ingresso principale.

I Caracciolo, con alterne vicende, rimasero proprietari del feudo e del castello fino al 1857, anno in cui l'ultima esponente della famiglia, Maria Giulia, lo lasciò in eredità al nipote Luigi Barracco.