Hvítabjarnarey nær 28 m hæð yfir sjó og um hana liggur gjá með stórum steini í miðjunni.  Þessi steinn er úr sama efni og Kerlingarfjall við Kerlingarskarð, þar sem aðalþjóðvegurinn var áður en svokölluð Vatnaleið var opnuð haustið 2001.

Sagt er, að kerlingin (skessan) í fjallinu hafi ætlað að tortíma kirkjunni að Helgafelli með steininum en misst marks.  Önnur skýring er sú, að henni hafi verið í nöp við bónda í grenndinni og hafi ætlað að granda honum í bát sínum á Hrappseyjarsundi.