Palazzo Milzetti venne costruito nelle forme attuali a partire dal 1792, quando il conte Nicola decise di intervenire su un edificio di sua proprietà che sorgeva sull’attuale via Tonducci, rimasto danneggiato dal terremoto del 1781.
Il committente incaricò l’architetto Giuseppe Pistocchi di rifare la facciata, in modo da rinforzare staticamente le strutture retrostanti.
Il progetto ha un carattere neocinquecentesco, con una scansione a tre livelli, finestre con bugnato quadrato a piano terra e a punta di diamante a piano nobile, queste ultime con fregio superiore a dischi alternati a riquadrature bugnate, motivo che rimanda al fregio dei templi greci in stile dorico suddiviso in metope e triglifi.
Le cornici marcapiano orizzontali e le finte balaustre alle finestre movimentano tutto il prospetto.
Il portale sormontato da balconcino all’estrema sinistra fa parte dell’ala occidentale, costruita successivamente, tra il 1830 e il 1851, quando il palazzo apparteneva alla famiglia Rondinini.