Eyðibýlið Kálfanes er rétt norðan Hólmavíkur og þar er flugvöllur sveitarinnar.  Þar var kirkja fram yfir 1709.  Til eru heimildir um vígslu kirkjunnar árið 1182 í sögu Guðmundar biskups Arasonar.  Þá var Þorlákur biskup helgi á yfirreið á Vestfjörðum í fyrsta sinni og Kálfaneskirkja nýbyggð.  Samkvæmt máldaga frá 1397 var hún helguð Maríu mey, Jóhannesi skírara, Pétri postula og heilögum Ólafi Noregskonungi.  Kirkjan í Kálfanesi var hálfkirkja, þ.e. að þar átti að syngja messu annan hvern helgan dag auk daganna, sem voru tengdir nafndýrlingum kirkjunnar.

Talið er, að kirkjustæðið sé ofarlega í túninu, ofan sléttrar flatar, sem er kölluð Elísuflöt, og að þar sé líka kirkjugarður.  Biskupasögur segja frá því, að Guðmundur biskup góði vígði brunn að Kálfsnesi nærri gamalli alfaraleið.  Í jarðabókinni 1709 kemur fram, að Kálfanes var meðal stærstu jarða sýslunnar og hlunnindi lægju í silungsveiði í Ósá og Tröllkonusíki, grasatekja og hrístekja.  Jörðin var í ábúð til 1940, þegar húsin voru rifin og efnið notað til byggingar sýslumannshúss á Hólmavík.  Steinsteypt neðri hæðin stendur enn þá og jörðin er nytjuð frá Hólmavík, sem er í landi hennar.

Mjög sjaldgæf plöntutegund, stórnetla, vex á bæjarhólnum.  Hún er afbrigði af brenninetlu og svæðið, sem hún vex á, lítur út eins og dökkur blettur í landslaginu.  Þessarar jurtar er getið í heimildum frá 18. öld og talið, að rót hennar hefði lækingarmátt, ef hún væri soðin í víni og hunangi, gegn brjóstveiki, hósta og hryglu. Ólafur Olavius, Eggert og Bjarni minnast á jurtina í ritum sínum.  Líklega var þessi jurt flutt inn og ræktuð til lækninga eða unnin úr henni hör, en hún var notuð til dúkagerðar í Svíþjóð og Englandi.  Skrifpappír, sem var líka unnin úr plöntunni erlendis, þótti góður.