La Chiesa abbaziale di S. Vincenzo sorge in prossimità della Gola del Furlo, nell'area della distrutta città romana di Pitinum Mergens. La tradizione vuole che nei secoli VI- XVII secolo abbia custodito le reliquie di San Vincenzo, vescovo di Bevagna, qui trasportate dagli abitanti della città umbra distrutta dai Longobardi.
Il più antico documento nel quale è citato per la prima volta il nome dell’abbazia risale all'XI secolo e riferisce che il monastero di San Vincenzo nel 970 era florido di monaci, ma la costruzione è certamente antecedente. A destra della chiesa  si sviluppava il monastero, dove oggi si trova la casa parrocchiale, già adibita a casa colonica.
Dell'originaria struttura oggi si conserva solo una delle due navate: alla navata di destra corrisponde una piccola abside che fiancheggia quella principale assai convessa. Dallo spazio lastricato con pietre di origine romana e paleocristiana, riservato ai fedeli, si può accedere, tramite una stretta scala, al presbiterio rialzato. L'altare è costituito da un enorme blocco di pietra adagiato su un'ara pagana scolpita, che riporta simboli cristiani. Sotto il presbiterio è presente un'ampia cripta a tre navate sostenuta da sei colonne con capitelli con bassorilievi d'influenza ravennate. Nell'abside del presbiterio si può osservare un S. Rocco datato 1525, affresco superstite di un ciclo più complesso, oltre ad ampie zone affrescate di scuola marchigiana dei secoli XV e XVI.
Qui soggiornarono San Romualdo nel 1011 e San Pier Damiani, che negli anni 1042-43 vi scrisse la Vita Beati Romualdi. Nel 1264 il cenobio fu distrutto dai Cagliesi e il monastero, gravemente danneggiato, fu riedificato nel 1217, come si legge nella iscrizione dell'architrave romano di riuso sulla porta d'ingresso. La decadenza dell'abbazia di San Vincenzo inizia nel 1439, quando papa Eugenio IV incarica l'abate di Gaifa di incorporarla alla Mensa capitolare di Urbino, con tutto il patrimonio annesso. Lasciata completamente all'abbandono e priva di monaci, nel 1589 il cappellano la sceglie come sua residenza,  e dal 1637 al 1781 vi celebra messe pubbliche, ma  già in quest’epoca  quel che  è  rimasto del complesso abbaziale  viene usato come casa colonica e magazzino.