Il borgo fu originariamente concesso alla famiglia Oliva da Papa Gregorio IX e rimase di loro proprietà sino al passaggio alla Santa Sede, sulla fine del XVI secolo. Il palazzo fortificato, arricchito di caratteristiche merlature ghibelline, sorge sui ruderi di un antico forte di epoca carolingia, a testimonianza del quale rimane una torre.  Tutto il resto fu ricostruito dopo la distruzione del 1445 ad opera di Francesco Sforza ed è giunto sino a noi in  ottime condizioni.

Il Palazzo è oggi sede dell’amministrazione comunale e ospita al suo interno il museo della Civiltà Contadina, che racconta 300 anni di storia, e l’Erbario delle Marche, che raccoglie 280 specie di piante autoctone. Merita una visita anche la chiesa parrocchiale, parte dell’antico complesso duecentesco di S. Agostino, che ricorda le sue antiche origini con elementi architettonici riconducibili all’arte gotica, come i resti di un arco a sesto acuto con data 1285 presente ai lati del portale e le due monofore aperte nell’abside. All’interno della chiesa è documentata una meravigliosa opera scultorea ad intarsio nelle lastre sepolcrali degli Oliva, risalenti ai secoli XIV e XV.