Stafnes var höfuðból að fornu.  Þar var um aldir mikið útræði og fjölbýli á staðnum.  Konungútgerð hófst þar um miðja 16. öld og stóð til 1769.  Voru landsetar af konungsjörðum suðvestanlands skyldugir til að róa á árabátum þaðan fyrir lítil laun.  Á 17. og 18. öld var Stafnes fjölmennasta verstöð á Suðurnesjum.  Básendar eru skammt sunnan við Stafnes.  Nokkru sunnar er Þórshöfn lítið notuð enda Básendar skammt frá.  Mörg skip hafa farizt á Stafnesskerjum.  Árið 1928 fórst þar togarinn Jón forseti.  Þá drukknuðu 15 skipverjar en 10 varð bjargað,  Slys þetta varð ásamt öðrum kveikjan að stofnun Slysavarnarfélags Íslands. Töluverð selveiði var á Stafnesi fyrr á árum.