Á 11. öld bjó bóndi að nafni Sveinn að Hvítárbakka (Bæjarsveit).  Grettir Ásmundason stal frá honum merinni Söðulkollu og sendi honum boð um, að hann hyggðist eiga næturstað að Gilsbakka.  Sveinn reið þangað til að heimta merina aftur og sat með Gretti alla nóttina við kveðskap, þannig að þeir skildu vinir um morguninn.  Þórður kakali flúði að Bakka undan Kolbeini unga árið 1242.

Lýðháskóli Sigurðar Þórólfssonar (1869-1929) var rekinn þar á árunum 1905-20 og var síðan fluttur að Reykholti  Sigurður skrifaði margar greinar og bækur um almenn fræði og gaf út búnaðarblaðið Plóg 1897-1907.  Anna Sigurðardóttir stofnaði Kvennasögusafnið 1931.  Um tíma var rekið gistiheimili að Hvítárvöllum og staðurinn bundinn samningi við varnarliðið í nokkur ár.  Árið 2003 var rekin þar aðildarstofnun Félags íslenzkra uppeldis- og meðferðarstofnana fyrir börn og unglinga (FÍUM).  Árið 2006 var komin bændagisting að Hvítárbakka.