Hljómsveitin er stofnuð 1991 af þeim Páli Rósinkras og Gunnari Bjarna Ragnarssyni. Og fengu þeir með sér Hrafn Thoroddsen á orgel, Starra Sigurðarson á bassa og Jón Örn Arnarsson á trommur. Páll og Gunnar Bjarni sömdu flest lögin. Einnig spilaði Eyþór Arnalds á selló á sumum plötum þeirra. Á safnplötunni “Bandalögum” voru þeir með lögin “Big Fast Stone” og “Rain”, sem komst í efsta sæti vinsældarlista. Sumir héldu að þeir væru útlenskir, því þeir sungu á ensku, en þá þekktist það varla í íslenskum tónlistarheimi. Í kjölfar vinsælda “Rain” hóf Jet Black Joe að spila um allt land og eftir útkomu fyrstu plötunnar “Jet Black Joe” sem innihélt ásamt “Big Fast Stone” og “Rain”, lögin “Falling” og “Chicks in the house” og náði hún gullsölu, og varð hljómsveitin ein sú vinsælasta á Íslandi. Árið 1993 gáfu þeir út plötuna “You Ain’t Here” innihélt hún m.a. lögin “You ain't here”, “Summer is gone”, “Running out of time”, “My time for you” og “You can have it all”. 1994 kom svo út þriðja og síðasta plata hljómsveitarinnar “Fuzz” og urðu lögin “Higher and higher” og “Freak out” geisivinsæl. Lögin “I You We”, “Freedom” sem sungið var af Sigríði Guðnadóttur og “Nevermind” úr kvikmyndinni “Stuttur frakki” komu öll út líka með þeim, þau voru hins vegar á safndiskum. Hljómsveitin spilaði oft á tónleikum erlendis, svo sem á Midsyn-tónlistarhátíðinni í Danmörk, þar sem margir frægir tónlistarmenn komu fram, meðal annars Lenny Kravitz. Einnig í Belgíu, Þýskalandi Hollandi. Síðla árs 1995 hafði líferni hljómsveitarmeðlima farið að koma fram í textunum, sem fóru meira og meira út í sýru. Jet Black Joe lauk ferli sínum með hljómleikum í Austin í Texas. Jet Black Joe lagði upp laupana skömmu síðar, snemma árs 1996. Skömmu eftir að hljómsveitin hætti kom út safnplatan “You can have it all” með öllum þeirra bestu lögum.

Páll Rósinkrans frelsaðist og er núna gospelsöngvari.
Gunnar Bjarni Ragnarsson gítarleikari stofnaði síðar hljómsveitirnar Jetz (sem síðar leystist upp og varð að Vinyl) og Mary Poppins.
Hrafn Thoroddsen orgel og gítarleikari stofnaði hljómsveitina Ensími ásamt Jóni Erni Arnarssyni trommara Jet Black Joe