Es ist eines der ältesten und eindrucksvollsten Gebäude der Stadt. Ursprünglich war es das Kloster einer franziskanischen Gemeinschaft, die bereits im 13. Jahrhundert in Belluno dokumentiert ist. Der Komplex wurde dann zusammen mit der an das Kloster angeschlossenen Kirche San Pietro, die 1326 geweiht wurde, neu errichtet. Im ältesten Kreuzgang sind noch Spuren der wertvollen gotischen Ausgestaltung erhalten. Die Kirche wurde 1750 im barocken Stil neu erbaut.
Im Inneren des Seminars bezeugen die beiden großen Kreuzgänge die architektonische Entwicklung des Komplexes: der sogenannte gotische Kreuzgang aus dem 15. Jahrhundert, der an der Südwand mit den Büsten der herausragendsten Ordensmitglieder der bellunesischen Franziskanergemeinschaft verziert ist, während der Boden aus den Grabsteinen der einflussreichen Familien der damaligen Zeit besteht. Ebenso interessant ist der benachbarte Renaissancekreuzgang aus dem 16. Jahrhundert, der in der Mitte einen Brunnen aus dem Jahr 1730 hat, der über einem Zisterne errichtet wurde, die mit Regenwasser gespeist wird.
Nachdem das Kloster durch die napoleonischen Requisitionen von 1807 aufgehoben wurde, beherbergte das Gebäude 1810 das Departement-Lyzeum und ab 1834 das neue Seminar, das von dem bellunesischen Papst Gregor XVI. dem heiligen Gregor dem Großen gewidmet wurde. Der Komplex wurde 1952 umgestaltet, im Jahr der Errichtung der neuen Fassade, die vom bellunesischen Architekten Alberto Alpago-Novello entworfen wurde. Eine weitere Restaurierung erfolgte um die Jahrtausendwende.
Seit 2016 werden die Seminaristen des Bistums im Seminar von Trient untergebracht. Die Einrichtung ist weiterhin aktiv, da sie das nach dem Bischof Alvise Lollino benannte klassische und wissenschaftliche Lyzeum sowie den lokalen didaktischen Bereich des Höheren Instituts für Religionswissenschaften "Johannes Paul I.", gefördert und unterstützt von den drei Bistümern Belluno-Feltre, Treviso und Vittorio Veneto, beherbergt.
Das Seminar bewahrt außerdem zwei Bibliotheken: die Gregoriana-Bibliothek und die Kapitelbibliothek, die "Lolliniana" genannt wird und über einige kostbare alte Handschriften verfügt.
