Il borgo di Spotorno era dotato, così come altri borghi vicini, di un buon sistema difensivo grazie alla presenza sul territorio di un locale castello e di alcune torri di avvistamento.
Il castello fu edificato antecedente o durante la dominazione feudale dei vescovi di Savona tanto che già nel 1180 la fortezza risulta essere tra le proprietà feudali. Abbattuto agli inizi del XIII secolo e ricostruito nel 1218, fu nuovamente distrutto nel 1227 dalla popolazione di Noli, quest’ultima fedele alleata di Genova. Nuovamente riedificato nelle forme attuali quadrangolari tra il XIV-XVI secolo divenne proprietà del Comune di Savona nel 1333 e della famiglia dei De Loterio nella seconda metà del Cinquecento. Oggi il castello, che si trova sulla collina che domina il paese, si trova in stato di rovina.