Kaldaðarnes er og var stórbýli austan Ölfusár í Flóa.  Ein elzta heimild um staðinn er ferjumáldagi Kaldaðarness frá aldamótunum 1200.  Þar er kveðið á um einkarétt Kaldaðarness til ferjuflutninga yfir ána og tvær ferjur voru í rekstri.  Önnur var á heimajörðinni gegnt Arnarbæli og hin efri var í ferðum milli Kotferju og Kirkjuferju.  Haukdælir áttu jörðina um tíma og Gissur Þorvaldsson bjó þar 1252 og á árunum 1257-58 eftir að hann fékk jarlsnafnbótina.

Kaldaðarnes varð snemma kirkjustaður, helgaður heilögum krossi.  Kirkjan átti kross, sem mikill átrúnaður hvíldi á.  Vegna þessa kross var ævinlega margmenni á staðnum, þó flest á krossmessum vor og haust.  Fólkið kom með gjafir með sér sem áheit.  Sagnir segja frá því, að pílagrímar hafi flykkzt 50 saman út í ferjuna í einu og hún hafi sokkið í miðri á og allir farizt.  Helgigöngur úr fjarlægum byggðarlögum voru skipulagðar til Kaldaðarness.  Oft dugði fyrir þessa ferðamenn að sjá heim að staðnum, t.d. af Kambabrún, til að fá bót meina.  Margir fóru upp á Selvogsheiði, á Kvennagönguhóla, til að sjá heim að staðnum.

Gissur Einarsson, fyrsti lúterski biskupinn í Skálholti, tók krossinn niður við siðaskiptin.  Krossinn var fluttur að Skálholti.  Þar lét Gísli Jónsson, biskup, kljúfa hann og Brenna.  Almenningur trúði svo heitt á krossinn, að margir reyndu að ná flísum eða ösku af honum.  Trúin rénaði ekki við það, að Gissur biskup varð veikur og dó skömmu eftir Kaldaðarnessförina.  Brynjólfur Sveinsson, biskup, gaf sókninni kross í sárabætur.  Þessi Brynjólfskross er í Þjóðminjasafninu.  Síðasta kirkja staðarins var byggð árið 1863 úr timbri, afhelguð 1903 og rifin ári síðar.

Holdsveikraspítalinn var fluttur frá Klausturhólum í Grímsnesi til Kaldaðarness 1754 og þar voru sjúklingar til ársins 1846.  Þegar spítalinn var lagður niður á staðnum, sátu umboðsmenn þar.

Í síðari heimsstyrjöldinni var herstöð með stórum flugvelli og stórum spítala á jörðinni.  Þá var byggð göngubrú yfir Ölfusá, aðallega til að bera olíuleiðslur.  Þessi brú stóð aðeins skamma hríð.  Herstöðin var yfirgefin eftir mikil flóð í Ölfusá en var samt talin hafa gegnt veigamiklu hlutverki við að sökkva herskipum og kafbátum Þjóðverja við landið.  Rústir mannvirkja sjást enn þá víða á jörðinni, þótt margt hafi verið flutt brott eða hulið.

Patterson og Meeks flugvellirnir sem lagðir voru í Keflavík árin 1942 og 1943 mynduðu Keflavíkurflugstöðina, sem var meðal hinna stærstu í heimi, enda var vallargerðin dýrasta herframkvæmd hérlendis. Þar er meðal annars stóra flugskýlið af Kaldaðarnesflugvelli, sem var rifið í ágúst 1943 og sett upp við vestanverðan Keflavíkurflugvöll. Það hýsir nú tækjabúnað til snjó og hálkuvarna. Minna flugskýlið var rifið sumarið 1944 og sett upp við Reykjavíkurflugvöll.

Að lokinni síðari heimsstyrjöldinni, 1945-48, var rekið vinnuheimili fyrir áfengissjúklinga þar.  Mikil laxveiði er fyrir landi jarðarinnar og var talin til hlunninda.  Silungsveiði hefur aukizt og einnig æðarvarp í hólmum Ölfusár.