Bæjarkirkja er í Hvanneyrarprestakalli í Borgarfjarðarprófastsdæmi. Þar voru katólsku kirkjurnar helgaðar Ólafi helga Noregskonungi. Kirkjan, sem stendur þar nú, var vígð 1967 og skammt frá er félagsheimilið Brún.

Skömmu eftir kristnitökuna, árið 1030, var stofað þar eitt fyrsta klaustur landsins. Stofnandinn var enskur biskup, Rúðólfur eða Hróðólfur, sem var frændi Játvarðs Bretakonungs hins helga. Hann stofnaði fyrsta skóla landsins og innleiddi latneskt letur í stað rúna. Síðar, fyrir 1050, þáði biskupinn af honum ábótadæmi í Abington og talið er að klaustrið hafi lagzt niður fljótlega eftir það. Víða við klaustur landsins voru ræktaðar lækningajurtir, sumar innfluttar, og í Bæ hefur fundizt villilaukur (allium oleraceum), sem er sjaldgæfur hérlendis.