Costruito tra il 1448 e il 1460 dal Magnifico Pier Maria Rossi, è uno dei più importanti esempi di architettura castellana italiana. La sua struttura difensiva è composta da tre cerchie murarie e quattro torri angolari, mentre la sua funzione residenziale è spiegata dalla ricca presenza di affreschi “grotteschi” di Cesare Baglione.
Straordinaria è la “Camera d’Oro”, attribuita a Benedetto Bembo, per celebrare la storia d’amore tra Pier Maria e Bianca Pellegrini e il potere della sua stirpe e della famiglia, attraverso la raffigurazione di tutti i castelli del feudo.