Dvergasteinn er bær við norðanverðan Seyðisfjörð. Þar var áður kirkjustaður og prestssetur. Kirkjan var flutt að Vestdalseyri fyrir aldamótin 1900 og síðar, árið 1920, inn á Fjarðaröldu, þar sem hún stendur nú. Prestssetrið var á Dvergasteini til ársins 1928.  Síðasti presturinn þar var séra Sveinn Grímsson Víkingur. Katólskar kirkjur á Dvergasteini voru helgaðar Maríu guðsmóður. Niðri í fjöru neðan bæjar er stór steinn, sem líkist húsi í lögun. Sagan segir, að þessi steinn og kirkjan hafi staðið hlið við hlið sunnan fjarðar. Þegar kirkjan var flutt norður yfir, kom steinninn siglandi á eftir henni yfir fjörðinn.

Alfaraleið yfir Hjálmárdalsheiði til Loðmundarfjarðar lá frá Dvergasteini fyrrum. Núna er hún fáfarin en ein margra slíkra gönguleiða, sem eru upplagðar fyrir göngugarpa nútímans. Páll Ólafsson, skáld, fæddist á Dvergasteini.