Kaldárhöfði er bær gegnt Dráttarhlíð austan við Sogið.  Þar var einn bezti veiðistaður árinnar áður en Steingrímsstöð var byggð.

Árið 1946 fannst eitt verðmætasta kuml úr heiðni (10. öld) hérlendis á hólmanum Torfnesi rétt hjá þessum veiðistað.  Þarna voru grafin fullorðinn maður og barn í litlum báti.  Meðal muna, sem voru lagðir í hauginn með þeim, var alvæpni og silungadorg.  Þessi fundur er oftast kenndur við Úlfljótsvatn, þótt hólmurinn sé í landi Kaldárhöfða.

Skammt frá bænum er tótt vöruhúss Skálholtsstaðar við ferjustaðinn yfir Sogið.  Ein þjóðsaga Jóns Árnasonar segir frá gíg ofarlega í Soginu, þaðan sem bitmýið við ána sé upprunnið.