Gene, 1934 yılında Ethel McGuire ile evlendi. Santral operatörüydü. Gene'in çalıştığı sırada kaldığı Dixie Hotel'de "Girl Crazy "nin pit grubu. 1942'de boşandılar ve aynı yıl yeniden evlendiler. 1946. Ethel 1955 yılında öldü. Gene daha sonra 1959 yılında Patty Bowler ile evlendi ve Mary Grace ve Michael adında iki çocuk evlat edindiler. 1968'de boşanmışlar.