Realizzato nel 1554 su progetto di Jacopo Barozzi da Vignola per volontà di papa Giulio III, e utilizzato sin dall’origine come residenza fortificata dei governatori pontifici, è uno degli edifici eretti per il controllo dei territori periferici da parte dello Stato della Chiesa. L’aspetto imponente, in parte motivato da ragioni antisismiche, riassume infatti emblematicamente l’irreversibile crisi delle libertà comunali e il contemporaneo recupero di potere da parte del papa.
Quando nel 1569 venne istituita la Prefettura della montagna, la Castellina ne divenne la naturale sede, militarmente sicura e architettonicamente degna di assolvere funzioni di rappresentanza. Alle necessità burocratiche e di organizzazione dei vari uffici della Prefettura si lega la lenta ed elaborata definizione degli spazi interni, la cui sistemazione si protrasse almeno fino al 1587. Restaurato nel XVIII secolo a seguito dei frequenti terremoti, a partire dal 1860 divenne sede di una prigione ed uffici del Comune per poi essere destinato all’allestimento del museo nel 1967 con opere depositate dal Comune, dalla Curia vescovile e degli Istituti Riuniti di Beneficenza.
A pochi metri è possibile vistare il Criptoportico, struttura di epoca romana.