Due lapidi apposte nell’angolo sud-est dell’edificio testimoniano che il Palazzo del Governatore fu eretto nel 1283, per volontà dell’allora podestà, il fiorentino Tegghia dei Buondelmonti. L’edificio ospitava il Capitano del popolo, tuttavia, nel corso dei secoli, divenne sede anche del Governatore (da qui il nome), dell’auditore civile e di altri magistrati. In origine si trattava di due distinti corpi di fabbrica, separati dal piccolo vicolo di San Marco.
Nel 1673, la costruzione della terra barocca unì i due edifici, trasformando il vicolo in un voltone. L’aspetto attuale, invece, si deve alla ricostruzione effettuata nel 1760 da  Ennemond Alexandre Petitot, il quale conferì all’insieme un severo aspetto neoclassico, unendo in maniera definitiva i due edifici, e aprendo la nicchia centrale con la Vergine bronzea, opera di Jean Baptiste Boudard. La torre, alta 75 metri, ospita la campana che un tempo si trovava in cima alla Torre Civica, crollata nel 1606. In facciata sono degne di nota le due meridiane del 1892, che segnano l’ora vera e l’ora media, studiate da Lorenzo Ferrari e don Luigi Pazzoni.