Il castello, edificato per volontà del comune di Treviso tra la fine del XII e l'inizio del XIII secolo su un alto terrapieno, forse preesistente, ebbe pianta quadrata, un perimetro di circa 930 metri e otto torri (quasi tutte ancor oggi conservate), disposte ai vertici e nel punto mediano di ogni lato. Ultima guerresca testimonianza di lontani conflitti tra potenze comunali e feudali, la fortezza di Castelfranco perdette definitivamente la propria funzione strategica al termine del grandioso scontro tra gli eserciti della Repubblica di San Marco e quelli dei sovrani federati nella Lega di Cambrai, che ai primi del cinquecento si erano affrontati nei territori veneti. La diffusione delle artiglierie rese infatti quasi inutile, sotto il profilo militare, l'esistenza della vecchia cinta muraria, ma il governo della Serenissima non ritenne opportuno nè ordinare la completa ricostruzione secondo i più recenti dettami dell'ingegneria, nè, per nostra fortuna, farla atterrare.
A poco a poco l'aspetto della fortezza mutò: scomparvero i cammini di ronda e il ponticello verso borgo San Giorgio, la "torre dei morti" venne trasformata in campanile ad uso del duomo, furono abbattute parzialmente le mura e la torre volta verso Cittadella, venne ristretto e contornato da un dignitoso passeggio il fossato medioevale, fu demolita la porta dinanzi al ponte dei Beghi.

Sopravvivendo alle ingiurie del tempo, alla stoltezza e alle nuove esigenze degli uomini, deposta ogni minacciosa sembianza, il castello divenne infine un elemento fondamentale, armonicamente inserito, nel centro cittadino, ormai da secoli pacifico, caratteristico luogo di residenze e di mercati.

Davanti al poderoso mastio, adattato a torre dell'orologio civico si svolgeva il commercio degli ortaggi. Gli dei della guerra erano volati altrove: i venditori vocianti avevano sostituito gli armigeri, le spade avevano lasciato il posto alle cicorie.