Paul J. Smith, Caldwell, Idaho'dan Joseph J. ve Anna M. Smith'in oğluydu. Joseph J. Smith uzun yıllar Idaho Koleji'nde bando şefliği yapmış ve Idaho'nun eski valisi Robert Smylie tarafından "Müziğin Babası" olarak anılmıştır; Boise Vadisi'nde tüm müzik aletlerini öğretmiştir. Büyükbabamın yeteneği ve öğretme becerisi belli ki dört oğluna da geçmiş, çünkü biri hariç hepsi İkinci Dünya Savaşı'ndan önce ve sonra Los Angeles'ta tanınan ve aranan besteciler ve müzisyenler olmuşlardır. Paul J. Smith'in bir ağabeyi vardı, Jerome Smith, yetenekli bir nefesli çalgıcı olmasına rağmen, 30'lu yıllarda elektrik mühendisi oldu ve tüm kariyeri boyunca RCA için baş mühendis olarak çalıştı. Paul J. Smith'in ayrıca iki küçük kardeşi daha vardı: Nefesli çalgılar sanatçısı ve stüdyo müzisyeni olan Arthur Smith, 60'lı yılların başında stüdyo sözleşmeleri kaldırılmadan önce uzun yıllar Universal Stüdyoları ile sözleşme imzalamış, ardından tüm büyük stüdyolarda (Disney dahil) çalışmaya devam etmiş ve uzun yıllar boyunca müzik sektöründe çok aktif olmaya devam etmiştir. Paul J. Smith'in en küçük kardeşi George W. Smith de bir nefesli çalgılar sanatçısıydı ve 60'lı yıllarda müzisyenlerin sözleşmeleri feshedilene kadar uzun yıllar Columbia Stüdyoları'nda 1. sandalye klarnetçisi olarak çalıştı, bu noktada hem büyük stüdyolarda (Disney dahil) hem de günün önemli vokal yetenekleri ve caz sanatçılarıyla kayıt oturumlarında çalışmaya devam etti. Kariyerinin ilerleyen yıllarında George, Anaheim'daki Disneyland Bandosu ile sahne almış, klarnette Dixieland Band ve Polka Bandosu'nda, Alto'da ise Main Street Saxophone Quartet'te yer almıştır.Caldwell Idaho'dan üç müzikal yetenek için genel olarak etkileyici ve benzersiz bir başarı.