Joe Ely, 9 Şubat 1947'de Lubbock, Teksas'ta doğmuş bir Güney Ovası çocuğudur. Gençliğinde, rock and roll'un kurucularından ve Lubbock yerlisi Buddy Holly'nin çocukluğunun geçtiği evde (o zamanlar kendisinin de bilmediği) küçük bir country grubuyla çalıştı. Üretken söz yazarı Butch Hancock ve müzisyen / aktör Jimmie Dale Gilmore (en çok Büyük Lebowski (1998) filmindeki "Smokey" rolüyle tanınır) ile birlikte kurduğu The Flatlanders'ın bir üyesiydi ve halen de üyesidir. En çok, diğerlerinin yanı sıra Lloyd Maines, Jesse Taylor ve Ponty Bone'un da yer aldığı uzun ömürlü Joe Ely Band'in lideri olarak bilinir. Grup, yetmişli ve seksenli yılların sonlarında, özellikle MCA etiketiyle büyük bir ticari başarı elde etti.O ve gitarist Jesse Taylor, Lubbock'taki küçük bir restoranda haftalık Stubbs Barbeque Jam'in kurulmasından sorumluydu, bu da canlı blues için bölgesel bir sıcak nokta haline geldi ve öyle bir etkiye sahipti ki, uzun zaman önce yerle bir olan restoranın arazisi şimdi tarihi bir anıtın yeridir.Çalışmalarının çoğu otobiyografiktir, bir kasırgadan kurtulan gezici bir karnaval için çalışmasının hikayesini anlatan erken bir parça da dahil. Uzun süredir kullandığı gitarı, Kaliforniya'da bir plajda satın aldığı 1950'lerden kalma bir Gibson J-5. Ön yüzünde önceki sahibi tarafından yapıştırılmış deniz kabuklarından büyük dairesel halkalar var. Satıcı, söz verdiği 10 doların sadece 5 dolarına sahip olduğu için deniz kabuklarını saklamış. 1970'lerin sonlarında, country şarkıcısı Tom T. Hall zirvede iken, Hall, Ely ve birkaç kişi Stubbs Barbeque'in arkasında sarhoş bir şekilde bilardo oynamış, Ely burnunu tebeşirle yeşile boyamış ve oyuna bir süpürge sopası ve köşedeki çantadan çıkardığı bir soğanla devam etmiştir. Bu olay Hall'un "The Great East Broadway Onion Championship of 1978" adlı şarkısıyla sonuçlandı.Ely, hayatı boyunca hem şöhretin hem de kıtlığın tadını çıkaran, ancak asla pes etmeyen, gerçek tuzu kuru çalışan müzisyenlerin kaybolan türlerinden biridir. Onun Teksas müziği versiyonu hiçbir zaman Jerry Jeff Walker, Willie Nelson ve Waylon Jennings'in Orta Teksas "outlaw" türü ya da Lubbock yerlisi Mac Davis'in pop tarzı kadar ilgi görmedi, ancak Batı Teksas'ta kendi kuşağının en saygı duyulan müzisyenlerinden biri.