Erano rempi burrascosi, e tanti, dalla chiesa alle nobili casate straniere, ambivano ai possedimenti del ducato Estense, ed è nel 1385 che NICOLO' II° D'ESTE, sente la necessità di costruire una fortezza difensiva ed assegna il compito all'architetto BARTOLINO DA NOVARA. Questi individua nel cuore della città , al centro di un quadrivio, la posizione logistica di detta fortezza. Attualmente questo incrocio è formato da: VIALE CAVOUR,CORSO GIOVECCA,BORGO DEI LEONI,TRENTO TRIESTE. Angolo ribattezzato dei "4 ESSE", perchè ritrovo di giovani studenti e non, artisti e pseudo, in perenne bolletta, appunto . Siamo Sempre Senza Soldi. Eccoli i "4 ESSE".

Il più rappresentativo degli Este, ERCOLE PRIMO, trasforma la "fortezza difensiva" in mirabile e magnifica residenza della corte, e punto dove ospitare gli illustri ospiti. L'arricchimento fu commissionato all'architetto GIROLAMO DA CARPI. Vie le merlature e a sostituirle eleganti balconate in pietra bianca. Terrazze, dove su una di queste fu impiantato un giardino pensile con alberi di arance e cedri, che vide il nascere dei sublimi versi dell'ARIOSTO e del TORQUATO TASSO. Sopraelevazione della costruzione di un piano, a consentire lo snellimento e l'imgentilimento delle torri. Costruzione coperta poi da un tetto spiovente.Da uno delle dette  balconate, precisamente quella che da su viale Cavour, si domina una delle vie più belle d'Europa, cioè CORSO ERCOLE I° DESTE, che ci porta sino alle mura cittadine recentemente restaurate in maniera mirabile. Su queste la casa del BOIA, e a metà dello stesso corso, troviamo PALAZZO DEI DIAMANTI. 

Cortile pratico ed austero quel tanto che basta, era affrescato dalle figure degli antenati veri e leggendari del casato in questione. Figure che l'inclemenza del trascorrere del tempo ha distrutto, e quelle poche rimaste, staccate e poste a riparo sotto il portico del lato est. In questo vi sono locati due pozzi, all'epoca funzionanti, che servivano al fabbisogno idrico dell'intero castello. Alla base degli stessi, dei sassi accatastati a piramide, che non sono altro che le munizioni delle catapulte. I cannoni dell'epoca.

Al piano terra, visitabili, le CUCINE, cuore dei fantastici banchetti magistralmente condotti dallo "SCALCO MESSISBUGO o MESSISBURGO"; le PRIGIONI, che videro la fine del triste amore di UGO(figlio di Nicolò) e PARISINA(matrigna di Ugo in quanto moglie di Nicolò). L'IMBARCADERO, sala, oggi ristrutturata per convegni ed altro, ma al tempo degli Estensi destinata alla partenza di imbarcazioni che per canalli sotteranei giungevano al grande fiume,il Po, per poi raggiungere il mare e precisamente il castello della Mesola, una delle tante DELIZIE  ESTENSI.

Al piano nobile, gli appartamenti ducali sontuosamente affrescati, dove dal 5 aprile al 6 luglio 2008, è stata allestita una mostra dedicata al GAROFALO, insigne pittore di corte, unitamente al COSME' TURA.