Phylicia Rashad, şair ve sanat yönetmeni olan Afro-Amerikan ebeveyn Vivian Elizabeth (Ayers) ile ortodontist Andrew Arthur Allen'ın çocuğu olarak Houston, Teksas'ta dünyaya geldi. Çocukken Phylicia, ağabeyi Andrew (Tex diye çağrılır) ve küçük kız kardeşi dansçı ve oyuncu Debbie Allen Meksika'da yaşadı. Hugh Allen (Kuzey Carolina'da emlak bankacısı) adında bir erkek kardeşi daha vardır. Anneleri, Allen'ın çocuklarına 1950'lerde Teksas'a özgü kronik ırkçılık ve ayrımcılığa katlanmak zorunda kalmayacakları kısa bir deneyim yaşatmak için Meksika'da yaşamaya karar verdi. Phylicia ve Debbie akıcı bir şekilde İspanyolca konuşmaktadır. Phylicia Howard Üniversitesi'nden mezun oldu ve daha sonra orada drama öğretmenliği yaptı. Küçük kız kardeşi Debbie Allen ile birlikte, Doktor Allen'ın Kızları anlamına gelen D.A.D. adlı bir yapım şirketi var. Pulitzer adayı annesi, Rashad'ın bir oyuncu olarak dikkat çeken yaratıcılığını etkileyen ve teşvik eden sanatsal ve özgür ruhudur.