Il palazzo fu eretto nel 700 è uno dei palazzi più prestigiosi di pietra Ligure in quanto al suo interno vi sono pregiati affreschi di Antonio Novaro, quì è stato rinvenuto il testamento di Andrea Doria che ivi soggiornò più volte nel corso della sua vita.
Vescovi di Albenga, i marchesi del Carretto, il generale Walles dell’esercito napoleonico, il Ministro Tommaso Tittoni, il compositore Ruggero Leoncavallo e il generale Maurizio Gonzaga, sono solo alcuni nomi dei personaggi illustri che hanno passeggiato nelle sale del palazzo.
Ora il palazzo è sede di uno studio legale tributario