Il Castello, fatto costruire da Guglielmo d'Altavilla nel XI secolo sui ruderi di un castello preesistente, è senza dubbio il più noto della regione. 

Ancora oggi domina, con la sua mole imponente, il panorama della città. 

Negli anni successivi, il castello fu risistemato e ampliato da Federico II, che nel 1231 vi promulgò le "Costitutiones Augustales", il primo testo organico di leggi scritte dell'età medioevale e di contenuto sia penale sia civile. 

Dal XVI secolo il Castello divenne dimora della famiglia Doria e fu sede anche di vari Concilii.

Durante il Concilio convocato dal Papa Urbano II nel 1089, il pontefice bandì la prima crociata in Terra Santa contro gli infedeli, istituendo l'obbligo del celibato ai religiosi. 

Costituito originariamente da una parte centrale circondata da una cinta muraria, si presenta al visitatore a pianta poligonale e conta ben otto torri, di cui tre a pianta poligonale e cinque a pianta quadrata. 

La torre ovest, detta "baluardo del lione", presenta una sporgenza a forma di nido che, secondo la leggenda, sarebbe il nido dell'aquila imperiale di Federico II di Svevia.

Nel Castello oggi ha sede il Museo Nazionale del Melfese.