Fong, 1928 yılında Çin'in Kanton eyaletinde bulunan Jiangmen şehrinin Xinhui bölgesinde doğdu. Beş yaşındayken anne babası ve kardeşleriyle birlikte Seattle, Washington'a geldi ve burada Asya'dan gelen göçmenlerde yaygın olduğu üzere bir süre gözaltında tutuldular. Seattle'da serbest bırakıldıktan sonra aile, Leo'nun dayısının bir restoran sahibi olduğu ve babasına iş garantisi verilen Chicago'ya karayoluyla seyahat etti. Restoranda yeterince çalıştıktan sonra Leo'nun babası Richard, Arkansas'ın Widener kasabasındaki küçük bir tarım kasabasında küçük bir bakkal dükkânı satın alacak kadar para biriktirdi. Okulda ırkçı sataşmalara maruz kaldıktan, eve gidip babasına anlattıktan ve gerçekte ne anlama geldiklerini öğrendikten ve daha sonra başka ırkçı sataşmalara maruz kaldıktan sonra, okulda bir kavgaya karıştı ve bir öğretmen tarafından haksız yere cezalandırıldı. 12 yaşındayken Barney Ross'un yazdığı Boksun Temelleri adlı kitabı satın aldı. Kitabı baştan sona okudu ve kendini zorbalara karşı nasıl savunacağını öğrendi. Boksa 15 yaşında başladı. Nakavt edici bir yumruğa sahipti, amatör rekoru 18-7 idi. Amerikan amatör boks programından edindiği büyük deneyimin yanı sıra, Fong ağırlık antrenmanı konusunda da çok iyi bir deneyime sahipti. Profesyonel vücut geliştirmeci Bill Pearl'ün arkadaşı ve öğrencisiydi ve birkaç yıl onun altında antrenman yapmıştı.1950'lerde doğu dövüş sanatlarına girişi judo ve Jiu Jitsu ile başladı. Yıllar boyunca Wei Kune Do adını verdiği kendi stilini geliştirdiği noktaya kadar çeşitli dövüş sanatları stillerini inceledi ve uyguladı. Ünlü dövüş sanatçısı Bruce Lee'nin arkadaşıydı ve onunla bir fikir tartışması seansı yapmayı başardı. Fong, Black Belt dergisinin 10. yıldönümü baskısının kapağında yer aldı. Bunu Bruce Lee ayarladı. İlk başta Fong kapakta görünmek konusunda isteksizdi ama Lee ısrar etti. Fong ona nedenini sorunca Lee, kapakta bir bakan ve dövüş sanatları uzmanının yer almasının harika olacağını söyledi.