Parmi les sites naturels les plus connus se trouvent deux grottes marines: la Grotte Bleue, qui s'ouvre dans une falaise de Palmaria et peut être visitée en entrant avec un bateau à rames, et la grotte Byron, devant laquelle on peut aussi arriver à pied par l'ouverture du mur d'enceinte qui monte de la place Spallanzani au Castelletto, en face de l'église de San Pietro. Elle se situe précisément dans l'anse entre la Pointe San Pietro et l'éperon montagneux où se dresse le Château Doria.
Appelée Cala dell'Arpaia par les habitants de Porto Venere, elle prit ensuite le nom du poète anglais George Byron, qui trouvait ici l'inspiration pour ses œuvres et parce qu'il semblait y accoster après avoir traversé à la nage le Golfe de La Spezia, de Lerici jusqu'à Porto Venere.