Krosshólaborg er við veginn út á Fellsströnd skammt frá vegamótum hjá Ásgarði.  Landnámskonan Auður djúpúðga lét reisa þar krossa og fór þangað til bænahalds.  Árið 1965 var reistur þar steinkross til minningar um Auði.

Munnmæli segja, að Guðmundur Ormsson, sýslumaður, hafi handsamað óvin sinn, Þórð Jónsson, og látið gera hann höfðinu styttri á Krosshólum á jólum 1385.  Eftir það varð Þórður helgur maður í hugum margra og heitið var á hann.