William ve Lillie Mae Westerman'ın kızı olan Westerman'ın babası On yaşındayken tüberküloza yakalanmış. Annesi daha sonra Los Angeles'a taşındı. 14 yaşındayken geçirdiği bir trafik kazasında kafatası kırıldı. İyileşme sürecindeyken, kendisine bir Charlie McCarthy bebeği onu neşelendirmek için. Daha sonra evleneceğini çok az biliyordu. Charlie McCarthy yaratıcısı, ünlü komedyen ve vantrilok, Edgar Bergen. Ponpon kız olduğu Los Angeles Lisesi'nden mezun oldu. Frances, 19 yaşındayken Edgar Bergen'in radyo programına konuk olarak personelinin bir üyesinin. Ön sırada oturuyordu, uzun bacakları kendisiyle tanışmak isteyen 39 yaşındaki yıldızın dikkatini çekti. Bir yıl süren uzun mesafeli flörtün ardından Meksika'da evlendiler.