Al di sopra del cubo di base era posato un tamburo realizzato in peperino e in opera cementizia (opus caementicium) tutto rivestito di travertino
e lesene scanalate. Al di sopra di esso vi era un tumulo di terra
alberato circondato da statue marmoree (ce ne restano frammenti). Il
tumulo era, infine, sormontato da una quadriga in bronzo
guidata dall'imperatore Adriano raffigurato come il sole posto su un
alto basamento o, secondo altri, su una tholos circolare. Attorno al
mausoleo correva un muro di cinta con cancellata in bronzo decorata da
pavoni, due di essi sono conservati al Vaticano. All'interno pozzi di luce illuminavano la rampa elicoidale in laterizio rivestita in marmo che collegava il dromos
alla cella posta al centro del tumulo. Quest'ultima, quadrata ed
interamente rivestita di marmi policromi, era sormontata da altre due
sale, forse anche esse utilizzate come celle sepolcrali. Il Mausoleo ospitò i resti dell'imperatore Adriano e di sua moglie Vibia Sabina, dell'imperatore Antonino Pio, di sua moglie Faustina maggiore e di tre dei loro figli, di Lucio Elio Cesare, di Commodo, dell'imperatore Marco Aurelio e di altri tre dei suoi figli, dell'imperatore Settimio Severo, di sua moglie Giulia Domna e dei loro figli e imperatori Geta e Caracalla.
Il mausoleo ha preso il suo nome attuale nel 590.
In quell'anno Roma era afflitta da una grave pestilenza, per
allontanare la quale venne organizzata una solenne processione
penitenziale cui partecipò lo stesso papa Gregorio I. Quando la processione giunse in prossimità della Mole Adriana, il papa ebbe la visione dell'arcangelo Michele che rinfoderava la sua spada.
La visione venne interpretata come un segno celeste preannunciante
l'imminente fine dell'epidemia, cosa che effettivamente avvenne. Da
allora i romani cominciarono a chiamare Castel S. Angelo la Mole Adriana
e a ricordo del prodigio nel XIII secolo posero sullo spalto più alto
del Castello un angelo in atto di rinfoderare la spada.
Ancora oggi nel Museo Capitolino è conservata una pietra circolare con
impronte dei piedi che secondo la tradizione sarebbero quelle lasciate
dall'Arcangelo quando si fermò per annunciare la fine della peste. 
Nel 403 l'imperatore d'Occidente Onorio incluse l'edificio nelle Mura aureliane:
da quel momento l'edificio perse la sua funzione originaria di sepolcro
diventando un fortilizio, baluardo avanzato oltre il Tevere a difesa di
Roma.Fu allora che il mausoleo venne indicato per la prima volta con l'appellativo di castellum. Salvò la zona del Vaticano dal sacco dei Visigoti di Alarico del 410 e dei Vandali di Genserico del 455. Allora per difendersi i romani scagliarono sugli assalitori tutto ciò che avevano a portata di mano, persino le statue: una di queste, il cosiddetto Fauno Barberini, sarà trovata più tardi nei fossati del fortilizio.
Agli inizi del XI secolo, venne adibito a prigione di Stato da parte di Teodorico.
Nella seconda metà del X secolo il castello passò in mano ai Crescenzi, e vi rimase per un secolo, durante il quale i Crescenzi lo rafforzarono al punto da imporre alla costruzione il loro nome: Castrum Crescentii. Con questo nome Castel Sant'Angelo verrà identificato a lungo, anche dopo il passaggio di proprietà ai Pierleoni e successivamente agli Orsini.
Niccolò III, papa di questa famiglia, considerata la fama di imprendibilità del castello e la sua vicinanza con la Basilica di San Pietro e il Palazzo Vaticano, decise di trasferirvi parzialmente la sede apostolica, allora nel Palazzo Lateranense, da lui giudicato poco sicuro. Per garantire una maggiore sicurezza al Palazzo Vaticano realizzò il celebre passetto, che costituiva il passaggio protetto per il pontefice dalla basilica di San Pietro alla fortezza.
Nel 1367 le chiavi dell'edificio vennero consegnate a papa Urbano V, per sollecitarne il rientro a Roma dall'esilio avignonese. Da questo momento Castel Sant'Angelo lega inscindibilmente le sue sorti a quelle dei pontefici: per la sua struttura solida e fortificata i papi lo utilizzeranno come rifugio nei momenti di pericolo, per ospitare l'Archivio e il Tesoro Vaticani, ma anche come tribunale e prigione.
Nel 1379 il Castello venne quasi ridotto al suolo dalla popolazione
inferocita contro la guarnigione francese lasciata a presidio del
castello da Urbano V. A dare inizio alla ricostruzione fu nel 1395 papa Bonifacio IX che incaricò l'architetto militare Niccolò Lamberti
di eseguire una serie di interventi di potenziamento della struttura
difensiva del castello. L'ingresso al castello diventò possibile
solamente attraverso un'unica rampa di accesso ed un ponte levatoio.
Sulla sommità dell'edificio venne ricostruita la cappella dedicata a San
Michele arcangelo. Nei quattro secoli successivi si susseguono interventi e trasformazioni: Nicolò V (1447-1455) dotò il Castello di una residenza papale - la prima all'interno dell'edificio – e realizzò tre bastioni agli angoli del quadrilatero esterno. Inoltre provvide al rifacimento del Ponte Sant'Angelo, crollato in occasione della manifestazioni giubilari. Alessandro VI Borgia incaricò l'architetto Antonio da Sangallo il Vecchio di ulteriori lavori di fortificazione, in seguito ai quali l'edificio assunse il carattere di vera e propria roccaforte militare secondo le più aggiornate tecniche della "fortificazione alla moderna": furono costruiti quattro bastioni pentagonali, dedicati ai santi Evangelisti, che inglobarono le precedenti strutture realizzate sotto Niccolò V. Per garantire un maggiore controllo sulle vie di accesso al castello papa Alessandro VI fece poi innalzare un ulteriore torrione cilindrico all'imboccatura del Ponte e attorno alle mura fece scavare un fossato riempito con le acque del Tevere. I lavori voluti da Alessandro VI non furono diretti solo al potenziamento della struttura difensiva dell'edificio: il papa dotò il castello di un nuovo appartamento, che fece affrescare dal Pinturicchio e aggiunse giardini e fontane. Nel corso del suo pontificato Alessandro trasformò il castello, nel quale egli amava risiedere, in una sontuosa reggia dove organizzava banchetti, feste e spettacoli teatrali. Le cronache dell'epoca descrivono la dimora come lussuosa e sfarzosa ma oggi nulla rimane di essa, essendo stata demolita da Urbano VIII nel 1628 per far posto a nuove fortificazioni.
Le opere di fortificazione di Alessandro VI permisero, 32 anni dopo, a papa Clemente VII di resistere sette mesi all'assedio delle truppe di Carlo V, i famosi Lanzichenecchi, che il 6 maggio 1527 diedero inizio al sacco di Roma.
Clemente VII nel 1525 fece costruire la Stufa, come allora veniva
chiamato il bagno privato: una piccola stanza affrescata con ornamenti
profani: delfini, conchiglie, ninfe, amorini, personaggi mitologici,
ancora oggi visitabile. Nella stanza si trovava anche una vasca nella
quale l'acqua veniva versata da una bronzea Venere nuda, poi andata
perduta. Il sacco di Roma dimostrò l'utilità del castello ai papi, che intrapresero grandiosi lavori di adattamento e vi installarono una vera e propria residenza papale. Nel 1542 Paolo III fece ristrutturare il castello dagli architetti Raffaello Sinibaldi da Montelupo e Antonio da Sangallo il Giovane, dal 1520 architetto capo della fabbrica di San Pietro.
Tra il 1667 e il 1669 Clemente IX fece collocare dieci angeli in marmo sul Ponte Elio: da allora anche il ponte viene chiamato Sant'Angelo.
Nell'Ottocento il castello venne utilizzato esclusivamente come carcere politico, chiamato con il nome di Forte Sant'Angelo.
Dopo l'Unità d'Italia venne inizialmente impiegato come caserma, poi destinato museo. A questo scopo fu oggetto di lavori di restauro da parte del Genio dell'Esercito Italiano, sotto la guida del maggiore Mariano Borgatti, poi diventato il primo direttore del Museo Nazionale di Castel Sant'Angelo inaugurato il 13 febbraio 1906. Per i meriti riconosciuti al suo operato di sovrintendente al restauro Borgatti venne promosso generale. In realtà i risultati dei lavori di restauro furono da molti giudicati piuttosto discutibili perché portarono ad una cancellazione dell'impronta bimillenaria del castello. I restauri del 1933-34 ripristinarono i fossati e i bastioni e sistemarono a giardino la zona tra la cinta quadrata e la struttura pentagonale.
All'interno di Castel Sant'Angelo numerosi sono gli ambienti
destinati al carcere, ancora oggi visitabili. La cella più malfamata era
quella detta Sammalò o San Marocco, sul retro del
bastione di San Marco. Il condannato vi veniva calato dall'alto e a
malapena aveva spazio per sistemarsi mezzo piegato, non potendo stare né
in piedi, né sdraiato.
La cella era anticamente uno dei quattro sfiatatoi che davano aria alla
sala centrale del Mausoleo di Adriano, dove si trovavano le urne
imperiali, e che si affacciava sulla rampa di scale. Nel Medioevo era
stato trasformato in segreta e qui era stato fatto un disegno
dell'oscuro "San Marocco", poi storpiato in "Sammalò". Nel piano inferiore della costruzione semicircolare del Cortile del Pozzo, eretta da Alessandro VI, c'erano le celle riservate ai personaggi di riguardo. Qui tra il 1538 e 1539 fu detenuto Benvenuto Cellini. Nell'antica loggia superiore dell'appartamento pontificio di Paolo III è la Cagliostra, così chiamata perché nel 1789 vi fu tenuto prigioniero il celebre avventuriero Giuseppe Balsamo, detto conte di Cagliostro. Era una prigione di lusso destinata a detenuti di riguardo. Nelle celle di Castel Sant'Angelo vennero tenuti prigionieri, tra gli altri, gli umanisti Platina e Pomponio Leto, Beatrice Cenci, condannata a morte nonostante la giovanissima età e le attenuanti, e Giordano Bruno, oltre ai patrioti italiani durante il Risorgimento. A differenza di Benvenuto Cellini, molti illustri prigionieri di
Castel Sant'Angelo vi persero la vita. Tanti di questi furono vittime
dei Borgia. Tra di essi, il cardinale Giovanni Battista Orsini.
Questi fu imprigionato in Castel Sant'Angelo con l'accusa di aver
tentato di avvelenare papa Alessandro VI. 
I processi venivano svolti nella Sala della Giustizia, le esecuzioni capitali generalmente eseguite fuori del castello, nella piazzetta al di là di Ponte Sant'Angelo, anche se numerose furono le esecuzioni sommarie all'interno del castello e nelle stesse carceri. Nella zona del cortile antistante la Cappella dei Condannati o del Crocifisso nell'Ottocento venivano eseguite le condanne a morte mediante fucilazione. A ogni esecuzione di una condanna capitale suonava a morto la Campana della Misericordia, sulla terrazza ai piedi della statua dell'Angelo.
Il nome
Fino al XI secolo è chiamato Adrianeum ed anche templum Adriani e templum et castellum Adriani, come nell'ardo Benedicti, in ricordo della sua origine voluta dall'imperatore Adriano nel 135 perché servisse da tomba imperiale per sé e i successori. Il ricordo di questi appellativi è nella dizione moderna di Mole Adriana.
Nel 359, Onorio lo include nella cinta muraria di Roma trasformandolo in una sorta di fortilizio per la difesa della città: data da allora l'appellativo di castellum.
Nel 974 se ne impadronisce Crescenzio, della famiglia di Alberico, che lo fortifica ulteriormente: perciò viene ribattezzato Castrum Crescentii. Questo nome durerà fino alla seconda metà del XV secolo, cedendo poi definitivamente il passo alla dizione attuale.
Nel VI secolo appare anche la denominazione castellum sancti Angeli, in ricordo della visione dell'arcangelo Michele rinfoderante la spada sulla Mole Adriana avuta da papa Gregorio Magno durante una solenne processione penitenziale per scongiurare la peste che infieriva su Roma, visione interpretata come presagio dell'imminente fine della peste, cosa che puntualmente avvenne.
Dall'XI secolo nelle bolle pontificie si usa la dizione mista Castrum nostrum Crescenzii e Castrum Sancti Angeli.Nelle Chansons de geste è detto anche Torre oppure Palais Croissant, denominazione quest'ultima che è la traduzione di Crescentii ma che tradotto letteralmente significa "palazzo mezzaluna" curiosamente rimandando a quella pasta lievitata a due punte che accompagna in genere il "cappuccino", detta appunto in Francia "croissant" e dai romani "cornetto".
Prima dell'anno Mille i cronisti lo chiamano domus Theodorici ed anche carceres Theodorici perché Teodorico re d'Italia (493-526) lo adibì a prigione, funzione mantenuta anche sotto i papi e con il governo italiano, fino al 1901.
Gli angeli
Per commemorare l'avvenimento che ha dato il nome attuale alla struttura, la statua di un angelo
corona l'edificio. In origine si trattava di una statua di legno che
finì per consunzione; il secondo angelo, di marmo, fu distrutto nel 1379 in un assedio e sostituito nel 1453 da un angelo di marmo con le ali di bronzo. Questo angelo venne distrutto nel 1497 da un fulmine che fece esplodere una polveriera nel castello, e fu sostituito con uno di bronzo dorato che però nel 1527 venne fuso per farne cannoni. Infine fu la volta di una statua in marmo con le ali di bronzo di Raffaello da Montelupo risalente al XVI secolo e attualmente visibile nel Cortile dell'Angelo, e poi, nel 1753, arrivò l'attuale angelo in bronzo di Pierre van Verschaffelt, sottoposto a restauro tra il 1983 e il 1986. 