Walter J. Williams'ın oğlu olan Rex Williams 1917 yılında New York'ta doğmuştur ve Galler kökenlidir. Rex kariyerine New York'ta başladı Broadway'de oyunculuk yapan ve daha sonra 1930'larda Hollywood'a taşınarak beyaz perdede olma hayalinin peşinden giden Rex, sinema ve tiyatro oyunculuğunun yanı sıra ressam ve heykeltıraş olarak da çalışmış ve 89 yaşında ölene kadar yirmi yılı aşkın bir süre Santa Fe, New Mexico'da yaşamıştır: Peter, Christopher, Patrick, Matthew ve Stephen.