Il Castello Brancaleoni è un’imponente costruzione medievale-rinascimentale composta da 130 stanze e caratterizzato da un ingresso gotico sormontato dalla torre dell’orologio con il peculiare andamento antiorario. Attraversata la porta ci si trova nella piazza pubblica, dalla quale si può percorrere la via pubblica e il corridoio a cielo aperto della parte residenziale privata e visitare la chiesa ottagonale di S. Carlo Borromeo, ricca di stucchi e affreschi.
All’interno del palazzo si trova il cortile d’onore, voluto dal Conte Guido Antonio I, capitano del Duca Federico da Montefeltro, e risalente al decennio 1470-1480. Sulla parete sud del cortile si trova lo stemma del Duca di Urbino, che lo stesso Federico, dopo la concessione del titolo ducale nel 1474, consegnò ai Brancaleoni. Questo cortile rettangolare, circondato da un portico ad arcate sostenute da colonne doriche, richiama il più ampio e maestoso cortile del Palazzo di Urbino. Nell’antica residenza privata dei conti, l’appartamento del Leon d’Oro, si possono ammirare le splendide sale decorate con affreschi e stucchi di fine cinquecento, tra i quali si annovera il pregevole presepe di Federico Brandani. Nelle sale dell’appartamento nobile si trova la camera greca, appartenuta al Conte Antonio II e affrescata con episodi di storia e mitologia greca, realizzati nel 1585.  Altri affreschi tratti dalla storia romana - il “Ritratto di famiglia” e “Il paese e il castello di Piobbico” -, realizzati nel 1574, si trovano nella camera romana, mentre nei camerini privati di preghiera sono conservati affreschi rappresentanti scene del nuovo e antico testamento. L’ala ovest del castello è caratterizzata dalla cosiddetta “fuga di stanze”, una tipica prospettiva dell’architettura rinascimentale, dove 11 stanze poste in successione permettono di attraversare con un unico sguardo tutto il fronte che guarda sul paese.
Oggi il castello ospita al piano terra il museo degli antichi mestieri, mentre nelle sale della dimora medioevale è presente una raccolta di ceramiche recuperate durante i restauri, reperti archeologici e una raccolta numismatica.