Höskuldsey er allt að 450 m löng og 150 m breið.  Sunnan Blikahóls á miðri eyjunni stóðu bæirnir.  Þar var reist timburhús og síðar steinhús árið 1920.  Eyjan stóð undir 2-3 kúm og 10-15 kindum og átti selstöðu í landi auk hagabeitar, móskurðar, torfristu, skógarítaki og máltíð fyrir heimilisfólk á leið til og frá kirkju vegna búðaaðseturs og uppsáturs.  Eyjunnar er getið í Eyrbyggju, þegar Þorsteinn þorskabítur fór þangað til veiða og drukknaði.
Þá sá sauðamaður Þorsteins Helgafell ljúkast upp og heyrði glauminn, þegar Þorsteini og félögum hans var fagnað.  Útræði var að mestu hætt í eyjunni árið 1920, en haustvertíðir voru stundaðar til 1934.