Nel 1576 la famiglia Fietta acquistò tre case e una torricella nel settore meridionale della città a ridosso delle mura e riunì il complesso di edifici per dare corpo all'imponente struttura del palazzo.
 La stessa famiglia asolana lo fece restaurare verso la metà del 700 dall'architetto Massari, lo stesso che nel medesimo periodo stava lavorando per la ristrutturazione della facciata del Duomo, per il palazzo Beltramini e per la villa Fietta a Paderno del Grappa.
In un celebre stucco che orna l'interno della dimora è raffigurata la città in visione prospettica. L'ampio giardino esteso oltre il limite meridionale delle mura, oggi inglobate nelle costruzioni e non più riconoscibili, venne a far parte delle proprietà della villa solo all'inizio dell'800. In detto parco sono conservate sepolte parti cospicue delle strutture del teatro romano che vennero messe in luce alla fine del secolo scorso.