Il feudo di S. Agata Feltria verso la fine del secolo IX per investitura ecclesiastica venne affidato alla signoria dei Conti Cavalca di Bertinoro, che vi rimase per oltre due secoli. Nel X secolo il conte Raniero Cavalca edificò la rocca come baluardo bellico, ma questa divenne col passare dei secoli dimora per varie Signorie. Dal 1410 in poi Sant’Agata Feltria fu governata alternativamente dai Malatesta e dai Montefeltro, ma nel 1463 Federico da Montefeltro, dopo aver sconfitto Sigismondo Pandolfo Malatesta nella battaglia lungo il fiume Cesano, riconquistò per la Santa Sede la rocca di S. Agata ed i castelli dell’alto Montefeltro, ottenendo così dal pontefice la cessione del Vicariato.  Con i Montefeltro iniziò il periodo di splendore, che continuò con la famiglia genovese dei Fregoso, dalla quale la rocca prese il nome.
La prima struttura fortificata di S. Agata è databile agli inizi del XII secolo, ma l’attuale aspetto è dovuto a numerose fasi di costruzione avvenute nel  corso dei secoli.  Probabilmente il primo insediamento fortificato era costituito da una torre contornata da mura e posta sulla sommità della collina, dalla parte dell’edificio posto a nord e dalla cinta fortificata del cortile. La torre denominata "Torre di Simonetto Fregoso" si presenta simile ad una carena di nave con superfici sfuggenti per contrastare l’attacco con armi da fuoco. Il muro che la collega all’androne di ingresso è stato aggiunto in epoca più tarda. Ancora oggi il torrione è ben conservato e al suo interno si trova una piccola e graziosissima cappella esagonale, che racchiude affreschi cinquecenteschi. Le espansioni quattrocentesche furono commissionate da Federico da Montefeltro, probabilmente con la partecipazione dell’architetto senese Francesco di Giorgio Martini, mentre i successivi interventi cinquecenteschi sono dovuti alla famiglia Fregoso. Agli inizi dell’ottocento venne abbandonata per essere poi recuperata in età recente e trasformata in museo permanente.