ÍBV varð til árið 1903 er Björgúlfur Ólafsson læknir kenndi knattspyrnu og sund í Vestmannaeyjum og stofnaði Knattspyrnufélag Vestmannaeyja.
ÍBV keppti á fyrsta Íslandsmótinu í knattspyrnu árið 1912 undir nafni KV.
Félögin Þór og Týr voru stofnuð 1913 og 1921 og öttu þau kappi hvort við annan innan Vestmannaeyja en kepptu sameinuð undir nafni KV á fastalandinu. Á árunum 1944 og 1945 urðu héraðssambönd til um allt land og var Íþróttabandalag Vestmannaeyja stofnað 6. maí 1945. Var þá ákveðið að hlutverk KV myndi flytjast undir það.
Yngriflokkastarfið fór áfram alfarið fram hjá Þór og Tý en nú kepptu þau sameinuð undir nafni ÍBV í meistaraflokkum.
Þann 30. desember 1996 var ákveðið að stofna ÍBV-Íþróttafélag til að sjá um allt það félagsstarf sem Þór og Týr höfðu sinnt og var starfsemi þeirra lögð niður samhliða.