La cittadina, denominata sino a fine ottocento Montepeloso, ebbe grande importanza in epoca romana, e fu tra i centri più sviluppati della Basilicata nel periodo di dominio longobardo e bizantino. 

Dopo l'occupazione normanna, la città divenne feudo di numerose famiglie nobiliari e nel 1123 il papa Callisto II con una bolla nominò la cittadina sede episcopale. 

Molto bella è la cattedrale del paese, dedicata alla Madonna dell'Assunta, costruita nel XIII sec. e rifatta nel 1777, con facciata barocca e campanile a bifore di stile gotico. 

Di grande pregio sono la chiesa del convento di San Francesco del XII sec., e la chiesa del Purgatorio in cui è conservata una bellissima tela raffigurante "Le Nozze di Cana" del 1600. 

Nel paese si trova il museo Janora, in cui è esposta una vasta collezione di vasi arcaici, manufatti preistorici, monete, cimeli e costumi femminili del 1700.