Barbaros, 1473 tarihinde Midilli Adasında doğdu. Babası Midilli’ye yerleşmiş olan Türk sipahilerinden Eceova’lı Yakup Bey’dir. Yakup Beyin İshak, Oruç, Hızır ve İlyas adında dört oğlu dünyaya gelmiştir. İshak ile Oruç büyükleri, Hızır ile İlyas da küçükleri idi.