Innri-Hólmur var einnig nefndur Ásólfshólmur.  Þar bjó fyrstur írskur maður, Þormóður Bresason.  Hann byggði líklega kirkju á staðnum.  Árið 1096, þegar tíundarlögin voru sett, var þar kirkja.  Illugi rauði, sem bjó á Hofsstöðum í Hálsasveit, skipti á búi, fé og konu við bóndann að Innra-Hólmi.  Þetta féll konu hans, Sigríði svo illa, að hún hengdi sig í hofinu.  Konan, sem hann fékk í skiptum, entist ekki lengi og hann kvæntist Þurðíði, systur Harðar Grímkelssonar, sem varð góður vinur mágs síns framan af eða þar til Illuga fékk nóg af yfirgangi Harðar.  Eitt sinn lenti Hörður við 23. mann í Sjálfkvíum í landi Illuga og smöluðu Akrafjallið.  Illugi safnaði liði og barðist við Hólmverja á meðan þeir slátruðu fénu og fluttu á skip.

Meðal síðari tíma manna, sem sátu staðinn, voru feðgarnir Ólafur og Magnús Stephensen.  Jörðin komst í eigu Ólafs 1780 og Magnús brá búi að Leirá árið 1803 og fluttist þangað.  Hannes Finnson, biskup, dvaldi hjá tengdaföður sínum 1784-86 eftir að jarðskjálftar höfðu lagt Skálholtsstað í rústir.  Kirkjan, sem stendur að Innra-Hólmi var vígð 1892.  Jón Mýrdal, rithöfundur, smíðaði hana.