Il Castello Tramontano, la cui costruzione ebbe inizio nei primi anni del XVI secolo per volere del Conte Giancarlo Tramontano (padrone di queste terre), rimase incompiuto per l'uccisione del Conte nel 1515 da parte di alcuni vassalli ribelli. 

Il suo scopo originario era quello di difendere la città dai nemici, lungo il suo tratto più esposto, con i suoi tre torrioni ed una cinta muraria che avrebbe dovuto comprendere forse dodici torri di difesa.

Il nucleo principale, che domina una collina della periferia di Matera declinante verso il piano dove scorre il Bradano, presenta due torri ed il marchio centrale oltre ad aver mantenuto il fossato e l'imbocco del ponte levatoio.