Kaldbakur (508m) er sunnan Kaldbaksvíkur.  Stórgrýtisurðin sjávarmegin við fjallið heitir Kleif og götutroðningarnir í gegnum hana eru kallaðir Ófæra.  Uppi í Kaldbakshorni fyrir ofan er Svansgjá.  Njálssaga segir frá örlögum Snans á Svanshóli í róðri.  Þar segir, að fiskimenn, sem voru að Kalbaki, þóttust sjá hann ganga í fjallið Kaldbakshorn, þar sem honum var vel fagnað.

Bæði Landnáma og Grettissaga segja okkur frá landnámsmanninum Önundi tréfæti Ófeigssyni, sem byggði bæ sinn Kaldbak við samnefnda vík.  Hann nam líka landið við Kolbeins- og Birgisvíkur.  Enn þá sést fyrir verbúðum í Skreflum, sem eru fyrir innan Spena, þar sem hreppamörkin eru.  Katólskt bænhús var á Kaldbak en það var lagt niður fljótlega eftir siðaskiptin.  Þarna var einnig bærinn Kleifar og inn af víkinni er Kaldbaksvatn, þar sem er góð silungsveiði.

Kaldbakur fór í eyði 1967 en jörðin hefur verið nytjuð frá Bjarnarfirði.  Þar stendur enn þá íbúðarhús úr timbri, sem var endurbyggt eftir 1940 úr viðum síðasta kaupmannshússins í Kúvíkum.  Snjóflóð féll á húsið veturinn 1994-95 og skemmdi það eftir nýlegar endurbætur.  Þarna hefur ætíð verið mikil snjóflóðahætta vegna þess, hve miklar hengjur myndast í brúnum Kaldbaksfjalls.

Inn af Kaldbaksvík eru Hveratungur, þar sem finnst allt að 70°C heitt vatn.