L’avvio della costruzione dell’imponente palazzo risale alla metà del XVI secolo per iniziativa della famiglia dei mercanti Affaitati; a questa fase si ascrivono la facciata principale e il corpo di fabbrica lungo l’attuale via Ugolani Dati.
L’edificio, dopo un periodo di abbandono, viene acquisito intorno alla metà del XVIII secolo dal marchese Clemente Cesare Magio a cui si deve una fondamentale fase costruttiva per insediarvi la propria dimora che culmina nella realizzazione del grandioso scalone attribuito all’architetto cremonese Antonio Arrighi.
Le disposizioni testamentarie della marchesa Antonia Ugolani Dati vedono il passaggio dell’immobile all’ordine ospedaliero dei Fatebenefratelli, che compiono la trasformazione del palazzo in ospedale affidandola all’architetto Carlo Domenico Visioli.
In seguito all’unificazione dell’Ospedale Fatebenefratelli con quello di Santa Maria della Pietà e il conseguente trasferimento degli ammalati, Palazzo Affaitati viene acquisito dal Comune di Cremona e individuato come nuova sede del Museo Civico Ala Ponzone e il Museo di Storia Naturale, che viene qui trasferito dal palazzo omonimo ed inaugurato nel 1928 occupando principalmente le grandi sale che ospitavano in precedenza le infermerie.
Entrambi i Musei derivano dall’eredità del marchese Giuseppe Sigismondo Ala Ponzone all’imperatore d’Austria e dopo varie vicende pervennero in proprietà del Comune di Cremona.
Nel decennio successivo nuovi lavori di adattamento lavori vedono l’insediamento in un’altra ala del palazzo della Biblioteca Governativa, qui trasferita dal complesso di San Marcellino.