Tæpast er hægt að segja, að Ólafseyjar hafi nokkurn tíma verið í stöðugri byggð, þrátt fyrir ýmis landsgæði, s.s. góðar lendingar, graslendi, gróðursæld og vatnsból, sem aldrei þrýtur.  Stutt er á milli eyja og flæðihætta lítil og útsýni er glæsilegra um allan Breiðafjörð en víðast annars staðar.  Skarð og Búðardalur á Skarðsströnd sóttu að jafnaði heyskap til eyjanna á sumrum og stundum voru hjú látin hafa þar vetursetu við tóvinnu og eftirlit með búsmala.  Íbúðarhúsið var reist skömmu eftir aldamótin 1900 og var nýtt til vetursetu til 1914.  Bæjarey og Ólafsey eru stærstar og bærinn stendur á hinni síðarnefndu vestanverðri.  Jón Guðmundsson lærði segist hafa verið þar veturpart á árunum 1605-11 (EGP 64-65).

Hóley, vestan Bæjareyjar, er há og svipmikil með Stólhól suðvestanvert.  Sigríðarhólmi er sunnan Hóleyjar.  Grettisgjá er í Norðurstykki norðan Stórhóls.  Hún er tengd eftirfarandi frásögn í Grettissögu um Gretti, Þorgeir Hávarsson og Þormóð Kolbrúnarskáld, þegar Þorgils Arason á Reykhólum sendi þá til að sækja góðnaut út í Ólafseyjar.

Þá spurði Grettir, hvort þeir vildu heldur leggja út uxann eða halda skipinu, því að brim nokkuð var við eyna.  Þeir báðu hann halda skipinu.  Hann stóð við mitt skipið á það borð, er frá landi horfði.  Tók honum sjórinn undir herðablöðin og hélt hann svo, að hvergi sveif.  Þorgeir tók upp uxann aftan en Þormóður framan og hófu svo út í skipið, settust síðan til róðrar.  Réri Þormóður í hálsi en Þorgeir í fyrirrúmi en Grettir í skut og héldu inn á flóann.  Og er þeir komu inn fyrir Hafraklett, styrmdi þá að þeim.  Þá mælti Þorgeir:  „Frýr nú skuturinn skriðar.”  Grettir mælti:  „Eigi skal skuturinn eftir liggja, ef allvel er róið í fram.”

Líklega er kletturinn Latur milli Ólafseyja og Reykhóla þessi Hafraklettur, sem er nefndur í sögunni.