Il centro risale ad Ottone I di Sassonia, che in seguito alla battaglia di Bovito fece costruire su di un'altura la sua fortezza, di cui oggi restano solo pochi ruderi. 

La fortezza divenne luogo di prigionia di Enrico di Baviera, Enrico figlio di Federico II e Ottone di Brunswich. 

Durante il periodo feudale, San Fele appartenne a diversi signori e nel 1613 venne acquistata dalla famiglia Doria.

Fra le cose da visitare annoveriamo la Chiesa Madre, nel cui interno è conservata una tela raffigurante Santa Rosa da Viterbo del XVII sec.; il convento di Sant'Antonio dei Padri Riformati Osservanti caratterizzato da un ciclo di affreschi del 1743. 

Annessa al convento vi è la Chiesa nel cui interno si possono ammirare una pala d'altare del XV sec., un polittico del XVI sec., un coro ed un pulpito del XVIII sec.. 

Nei dintorni del paese è situato il Santuario della Madonna di Pierno edificato nel 1189.