Veduta di Varese nel 1820 (stampa Lose)Fra i personaggi della famiglia si distinse in modo particolare Ambrogio Griffi (morto alla fine del XV secolo), nativo di Milano, ma appartenente al ceppo varesino: conte palatino, senatore, decurione, medico ducale. E proprio a lui si deve la costruzione di casa Griffi di Varese.
Era tanto vasta e ben ornata che fu battezzata dai varesini, per antonomasia, il Palazzo ed era considerato uno tra gli edifici migliori della città. Costruita in stile gotico lombardo, aveva bellissime finestre e bifore ornate con mattonelle in cotto lavorato. Una di queste finestre è stata ricomposta sulla parete esterna dell'ex cappella di Villa Mirabello ed è tutto quello che rimane del Palazzo. Il disegno di parte dell'edificio è ricostruibile grazie ad una stampa del Losa raffigurante Varese "disegnata dal vero" dal colle di Bosto, e risale al 1820.
Davvero curiose furono le vicende che coinvolsero il palazzo: dai Griffi passò ai conti Vestarini e successivamente ai Visconti, ai Besozzi e al ,marchese Casnedi. Costui affittò l'edificio al gestore dell'osteria della Stella, che vi aprì un albergo, la cui sontuosità attirava molti forestieri. Questo ebbe automaticamente fine con il passaggio del palazzo alla congregazione dei Gerolimini che l'acquistarono nel mese di agosto del 1734. Il convento così costituito fu soppresso nel 1771
Veduta di Varese nel 1820 (partic.)per l'esiguo numero di religiosi e i beni furono incamerati dal Signore di Varese, il duca Francesco III d'Este, che li passò all'Amministrazione dell'Ospedale. Nel frattempo il Duca aveva autorizzato un certo Binachi ad aprirvi un teatro varesino per lo svago soprattutto dei signori che avevano presa l'abitudine di venire a villeggiare nell'autunno a Varese. Il teatrino, ricavato da un grande salone, incontrò una generale approvazione. Fu inaugurato il 19 ottobre 1776 con l'opera L'isola di Alcina e fu battezzato Teatrino Ducale. Accanto alla sala teatrale furono sistemate altre come locali di ritrovo e di gioco.
Dopo che le rappresentazioni cessarono nel 1790, l'imperatore Leopoldo II decise di assegnare a Varese, per l'importanza del luogo e la vicinanza al confine svizzero,un presidio militare stabile. Ritenuta insufficiente la caserma allora in uso, si pensò all'ex convento dei Gerolimini. Da quel momento l'edificio, ribattezzato "il quartiere", ospitò truppe austriache, francesi,del Regno d'Italia, guardie nazionali, ancora austriache ed infine italiane. Nel 1867 fu demolito per aprire un'ampia piazza per il mercato (l'attuale Piazza Repubblica) dopo aver costruito la Caserma Garibaldi, il cui progetto si deve al varesino Luigi Cremona.
Nella "Veduta di Varese" sono visibili:
Ex palazzo Griffi
Villa Kevenüller (già convento di Santa Teresa)
Villa Arpegiani (già convento dei Carmelitani)
Villa Veratti (già convento di San Francesco
Villa Selene su terreno dell'ex convento di san Martino
