Il castello di Lagopesole, a pianta rettangolare e racchiuso fra quattro torri angolari, è posto in posizione collinare e domina l'intera valle. 

L'alternarsi al suo interno di stili ed elementi architettonici variegati, evidenziano fasi costruttive diverse, alternatesi nell'arco dei secoli. L'interno del castello è diviso da due cortili, mentre gli ambienti residenziali sono ubicati su due livelli e su tre lati intorno a quello maggiore, nella zona nord dell'edificio.

La scelta di posizionamento del castello e le sue imponenti dimensioni, adatte alle esigenze di sosta e di soggiorno, provano che l'imperatore Federico ha voluto Lagopesole proprio come residenza di caccia. 

Attraversando un portale a sesto acuto decorato si accede all'interno del "cortile grande" del castello, da cui è possibile arrivare anche in quello più piccolo al cui centro è posto il pozzo della grande cisterna. 

La parte più interessante del Castello, ubicata nel lato del cortile grande, è quella che da accesso ad una bellissima Cappella di stile angioino e a diverse sale tra le quali quelle denominate "dell'imperatore e dell'imperatrice", di notevole pregio artistico. 

Il castello, per i suoi fregi e per l'alternarsi di stili che lo compongono, rappresenta uno degli esempi più belli e caratteristici di castelli federiciani nel Sud Italia.