La città ha origini antichissime riconducibili agli Umbri Sarsinati. Nei corso dei secoli appartenne a varie Signorie tra le quali quella dei Fregoso, che diedero il nome alla Rocca la cui costruzione avvenne intorno al  X secolo, per essere poi restaurata da Francesco Di Giorgio Martini nel 1474.

Sulla piazza del centro storico, perfettamente conservato, si affaccia il teatro Angelo Mariani, il più antico teatro delle Marche ed uno dei più antichi di tutta l'ltalia, caratterizzato da una struttura interamente in legno.