Man Adası (İngiltere) doğumlu Ridgeway Callow ile Ziegfeld Kızı ve sosyetik eşi Peggy Watts'ın çocuğu olarak Hollywood'da dünyaya gelen Phyllis Douglas, iki yaşındayken Rüzgâr gibi geçti (1939) filminde bebek "Bonnie Blue Butler" rolünü oynadı.RAF'ta görev yapmış olan babası, Howard Hughes tarafından New York'ta muhasebeci olarak işe alındı. Callows daha sonra Hollywood'a taşındı ve çocukları Malibu ve Batı Los Angeles'ta büyüdü. Ridgeway sinema endüstrisinde ödüllü bir ikinci birim yönetmeni olarak çalıştı.