Fagurey er klettótt að norðanverðu, fremur láglend og grösug.  Hlunnindi lágu í selveiði, eggja- og dúntekju, sölvafjöru, og lundatekju.  Eyjan var byggð allt frá landnámsöld til 1937.  Hennar er getið í Sturlungu, þar sem Sturla Þórðarson bjó í Fagurey síðustu tíu ár ævinnar og lézt þar árið 1284.  Líklegast hefur hann ritað Íslendingasögu og eitthvað fleira í eyjunni.