Tra i siti naturali più noti si collocano due grotte marine: la Grotta Azzurra, che si apre in una falesia della Palmaria e si può visitare entrando con una barca a remi, e la grotta Byron, dinanzi alla quale si può anche arrivare a piedi per l’apertura del muro di cinta che dalla piazza Spallanzani sale al Castelletto, dinnanzi alla chiesa di San Pietro.
Insiste appunto nell’ansa fra la Punta San Pietro e lo sperone montuoso dove sorge il Castello Doria.
Chiamata Cala dell’Arpaia dai portoveneresi, prese poi il nome del porta inglese George Byron, che in questo luogo traeva ispirazione per sue opere e perché pare vi approdasse dopo la traversata a nuoto del Golfo della Spezia, da Lerici sino, appunto, a Porto Venere.