La costruzione del castello fu deliberata nel 1550 e realizzata nel 1551 per difendere Rapallo dalle incursioni piratesche; infatti l'anno prima (il 4 luglio 1549) il turco Dragut diede l'attacco dal mare e saccheggiò il borgo. In quel periodo era Podestà di Rapallo Gerolamo Cattaneo; il progetto e la direzione dei lavori furono affidati al maestro comacino Antonio Carabo.
Dopo varie destinazioni d'uso, da fortezza a prigione, oggi, a seguito di un recente restauro, il castello è stato destinato a rappresentanza per esposizioni.
In questa bellissima veduta aerea che ci permette di vedere il distribuirsi della copertura realizzata in ardesia, il castello emerge dal mare nel suo ruolo difensivo della costa, alla quale è legato dal sottile istmo.