Il Palazzo Viviani deriva da trasformazioni dell’antica cinta muraria di ponente del castello; questa era stata dotata nel lontano 1338 di due torrioni laterali per opera di Galeotto Malatesta, cosicché alcuni secoli dopo appariva ancora “come una piccola rocca”. Nel 1664 il Comune la cedette al sopracitato Vincenzo Dionigi, notaio a Montegridolfo. Verosimilmente fu questo Dionigi a ristrutturarla, adattandola a residenza, e a trasformare il terreno sottostante in giardini. Nel corso del 1700, in data non nota, la proprietà passò dai Dionigi ai Filippini, facoltosa famiglia di Montegridolfo che annoverò tra il ‘500 e la fine dell‘800 parecchi religiosi, notai e medici.
Infine, nel 1801, la residenza fu acquistata da Filippo Viviani, un nobile di Urbino che era stato nominato da Napoleone Cavaliere della Corona di ferro; cosicché oggi il palazzo porta il nome di quella famiglia. Nel corso del ‘900 la proprietà passò di mano più volte; in particolare si ricorda la famiglia Molaroni di Pesaro, proprietaria della omonima fabbrica di pregiate ceramiche.
Il Palazzo, così come appare oggi nel suo rinnovato splendore, è frutto del restauro scientifico effettuato negli anni ’90 del secolo scorso.