Il Palazzo sede della Sezione Penale del Tribunale di Livorno si erge nel caratteristico quartiere Venezia Nuova, risale all'inizio del XVIII secolo, quando fu edificato per ospitare un ordine religioso femminile; tuttavia, per volontà del granduca Cosimo III de' Medici, l'immobile fu affidato ai Gesuiti. Il collegio, che comprendeva anche una chiesa intitolata a San Francesco Saverio, fu completato dall'architetto Giovanni del Fantasia e fu aperto nel maggio del 1707. La chiesa, che aveva la facciata sulla via della Madonna, fu ampliata con due cappelle laterali dallo stesso granduca.

A seguito della soppressione dell'ordine gesuita, negli anni settanta del medesimo secolo il palazzo fu adibito inizialmente ad ospedale ed in seguito ad altri usi, tanto è vero che, nel 1783, la chiesa fu teatro di una sontuosa festa da ballo voluta dal granduca Pietro Leopoldo.

Successivamente, con l'istituzione della diocesi di Livorno (1806), parte dell'edificio divenne residenza vescovile; dal 1811 al 1856 ospitò pure l'istituto Paradisino, una struttura scolastica per ragazze fondata nel 1746.

Nel 1857 il complesso divenne sede del tribunale labronico, che in precedenza, sin dal 1838, era ubicato nel Palazzo Bartolommei (oggi distrutto, si veda in proposito la voce Venezia Nuova); pertanto la curia si trasferì presso Seminario Gavi, nei pressi del Cisternone. I locali del tribunale furono ampliati nel 1880, con la costruzione del nuovo corpo di fabbrica per la Corte d'Assise ed un ulteriore restauro si ebbe nel 1916.

Il Palazzo di Giustizia occupa un ampio lotto compreso tra la Pescheria e la chiesa Santa Caterina, nell'area che costituisce il cosiddetto secondo accrescimento del quartiere Venezia Nuova.

L'esterno dell'edificio, lungo la via della Madonna, presenta un'elegante facciata su tre piani, caratterizzata da grandi cornici che inquadrano le aperture. Il fronte lungo la via dei Milanesi (oggi intitolata a Falcone e Borsellino) è articolato mediante un portico a cinque arcate rivestite in pietra.

All'interno sono da segnalare l'armonioso chiostro, definito da più ordini di pilastri con archi a tutto sesto, ed i resti della vasta cappella. Nel cortile si trova il monumento a Giuseppe Micali, realizzato intorno al 1862 dal livornese Giovanni Paganucci; l'opera, inizialmente collocata presso il Liceo Niccolini (che allora ospitava la Biblioteca Labronica), fu posta nell'attuale sede nel 1918. Inoltre, nei pressi della scultura è apposta una lapide commemorativa della Tipografia Coltellini proveniente dal demolito Bagno dei forzati.

Recenti lavori di restauro hanno permesso di individuare, in alcuni ambienti, le tracce della originaria Fortezza Nuova, che fino alla fine del Seicento si estendeva anche sull'area del palazzo. Un altro restauro ha riportato all'antico splendore le decorazioni pittoriche di un locale anticamente adibito a cappella e posto al piano terreno del complesso.