Samkvæmt Landnámu nam Steingrímur trölli Steingrímsfjörð og bjó í Tröllatungu.  Þar var prestsetur til 1886 og kirkja til 1909, sem átti rekaítök á fimm jörðum og ítök í hvalreka á 10 jörðum.  Þjóðminjasafnið varðveitir gamla kirkjuklukku úr Tröllatungukirkju.

Séra Halldór jónsson, sem var síðasti prestur staðarins, og bræðurnir Ásgeir og Torfi Einarsson á Kollafjarðarnesi, stofnuðu lestrarfélag til eflingar framfara og menningar í prestakallinu með góðum árangri.  Nafn bæjarins er dregið af viðurnefni Steingríms og fjallstungu milli Arnkötludals og Tungudals.