Valerie Allen'ın annesi, bir zamanlar Broadway'in en yüksek maaşlı şov kızı olarak bilinen ve Ziegfeld Follies'in emektarlarından olan Valerie Raemier'di. Babası Edgar Allen, The Palace gibi mekanların yetenek avcısıydı. Bostonlu komedi hokkabazı Fred Sullivan'a adının tiyatro çadırları için çok uzun olduğunu söyleyen de oydu. Komedyen bu tavsiyeye uyarak Edgar'ın soyadını benimsedi ve böylece Fred Allen oldu.