La chiesa e l'annesso monastero benedettino femminile che sorgono presso la porta Colmarion ai piedi del colle della Rocca erano in origine dedicati ai SS. Pietro e Paolo e hanno assunto per un certo periodo la denominazione di S. Luigi dopo la trasformazione del convento in Istituto scolastico e di aggregazione giovanile. Da poco è stata ripristinata l'originaria denominazione.
La costruzione del complesso fu progettata nel 1567, ma solo con gli inizi del XVII secolo le strutture videro definitivamente la luce. Il 31 maggio 1634 chiesa e convento vennero consacrati dal vescovo e le monache benedettine vi presero dimora.
L'edificio era in origine composto da quattro corpi di fabbrica organizzati intorno ad un chiostro, con un avancorpo (la chiesa) proteso verso la strada e la porta Colmarion.
La pur apprezzata attività educativa delle religiose e la loro presenza in Asolo ebbe ufficialmente termine nel 1807 con la soppressione dell'ordine religioso e con la successiva vendita dell'immobile da parte del Demanio.
Il vecchio convento fu allora trasformato in Collegio e divenne la sede delle Scuole Comunali e di un ginnasio mantenendo poi tale funzione, pur tra alterne vicende, per tutto il secolo scorso e buona parte di questo fino alla costruzione del nuovo edificio scolastico presso l'Ospedale.
L'ala orientale del chiostro venne distrutta la notte del 14 marzo del 1814 da un incendio; della parte scomparsa se ne serba tuttavia preciso riferimento planimetrico nel rilievo catastale napoleonico risalente a pochi anni prima. Per riparare i danni dell'incendio vennero impiegati in larga parte i materiali ricavati dall'abbattimento dell'oratorio di S. Salvaso lungo il Foresto.