Fu residenza della famiglia D’Aste dal 1200 sino al 1700, passato nel 1800 ai marchesi Del Carretto di Balestrino che lo abitarono sino al 1950.
In origine comprendeva tutta la lunghezza della piazza e l’ala ottocentesca retrostante, che collegava il palazzo più antico con il parco all’inglese, oggi pubblico. All’epoca medioevale risalgono gli archi murati e le tracce di finestre a bifora presenti lungo il “caruggio”.
Si conserva inoltre un bel portale di pietra di Finale scolpita di gusto rinascimentale e lo stemma settecentesco dei D’Aste.
Poco distante dall’ingresso del palazzo sino al dopoguerra esisteva una grata seicentesca in ferro battuto. Secondo la tradizione orale una volta l’anno, una persona che aveva commesso un reato poteva ottenere la grazia se riusciva, nell’ambito di una corsa a piedi assieme ad altri detenuti, a raggiungere e quindi ad aggrapparsi per prima all’inferriata. Il 24 ottobre del 1714 questo palazzo ospitò Elisabetta Farnese, seconda moglie del Re di Spagna Filippo V.