La Rocca era considerata una delle strutture militari più significative e di forte contenuto innovativo ma, a seguito dell'occupazione della città da parte delle milizie spagnole (20 giugno 1502) i Cagliesi, istigati dal duca Guidobaldo, smantellarono la fortezza per renderla inservibile agli occupatori. Oggi la Rocca è distrutta e i suoi ruderi sono conservati nello spazio adiacente il convento e la Chiesa dei Cappuccini sul colle omonimo.
Il Torrione, ancora collegato alla rocca da un passaggio sotterraneo, è tutto ciò che rimane dell'antica fortezza, progettata da Francesco Di Giorgio Martini, che faceva parte di un piano di difesa voluto dal Duca Federico da Montefeltro. Costruito a cavallo della cinta muraria medievale della città di Cagli, costituiva l'appendice fortificata della vicina Rocca. Ha forma ovoidale e si presenta con paramenti in pietra e mattoni, questi ultimi usati soltanto per i beccatelli e per il coronamento. Il fossato che cingeva il torrione, con il muro di contenimento ancora perfettamente intonacato, venne fatto scaricare di tutta l'acqua nel 1757 al fine di evitare l'allagamento delle strade adiacenti. Nella recente riapertura parziale del fossato è stata trovata la base di appoggio del ponte levatoio.
Superato il piccolo ingresso del Torrione si accede, attraverso uno stretto corridoio con volta a botte, ad un vano ovoidale, estremamente spartano, con 5 troniere, munite del fumignate (camino di aspirazione dei fumi delle armi da fuoco), che permettevano di controllare la città; ognuna di queste postazioni da tiro ha una lastra in pietra con la tacca per la mira ed un foro circolare per l'innesto dell'arma. Nella parte sinistra della stanza c'è un condotto che permetteva di attingere l'acqua dal sottostante fossato e, sempre nella stessa stanza, due strette scale che permettono di raggiungere due vani che si trovano a livello del fossato. Una di queste permette l’accesso ad una stanza ellissoidale del secondo piano, che presenta delle strette fessure le quali permettevano di controllare le mura della città. Mediante una scala a chiocciola si giunge poi ad un'altra stanza ovoidale, con copertura a capriate e un ampio ballatoio con 58 caditoie per la difesa e 15 feritoie. L'intonaco del ballatoio presenta varie scritte e disegni che fanno pensare all'utilizzo del Torrione come prigione. Sempre dal vano ovoidale del torrione, un’altra scala immette al camminamento segreto, anticamente detto "soccorso coverto", costituito da 367 gradini che conducono fino al piede del puntone dell'antica Rocca sul colle dei Cappuccini.