La costruzione del Palazzo di Bonifacio VII non ha eseguito un progetto edilizio unitario: interventi successivi di accorpamento, trasformazioni e ampliamenti ne hanno molte volte modificato l'architettura e nel complesso si contano almeno 15 cantieri distinti, databili tra il X-XI secolo e XVII secolo. E' tuttavia accertato che agli inizi del Duecento il fabbricato apparteneva alla famiglia paterna del cardinale Ugolino Conti che, divenuto papa con il nome di Gregorio IX (1227-1241) , eresse il palazzo a sua dimora mirabile. All'originario complesso turrito altomedievale, si sovrappose così un elegante palazzo residenziale, che doveva essere più esteso di quanto non sia oggi. Pur mantenendo inalterata la sua vocazione alla difesa e alle funzioni di avvistamento, il corpo del fabbricato fu dotato di ampie sale voltate, che negli apparati decorativi mostravano elementi di influenza cistercense. E' in questo palazzo che Gregorio IX accolse l'Imperatore Federico II di Svevia nel 1230. E' interessante che questa fase del palazzo sia contemporanea all'altro cantiere importante della città : in Cattedrale infatti stavano lavorando nello stesso periodo i Cosmati per la pavimentazione della Basilica e il Terzo Maestro per l' affrescatura della Cripta. La costruzione si iscriveva dunque in un momento di grandidisponibilità economiche e di impegno artistico ad Anagni, dove la commitenza romana e pontificia si spostava con gli interessi privati della famiglia del Papa. Fu così anche al tempo di Bonifacio VII 81294-1303), che trasformò la Contrada Castello in Quartiere Caietani, acquisendo al patrimonio della sua famiglia le proprietà immobiliari della parte più alta della città. E fu il nipote Pietro II Caietani ad acquisire nel 1297 il palazzo dai pronipoti di Gregorio IX, Adinolfo e Nicola de Papa. L'edificio fu in questa fase nuovamente ampliato con l'annessione di una torre ad est e la costruzione della loggia