Alfonso, 13 Eylül 1959'da Los Angeles'ta Loletha Adkins (şimdi Polk) ve Morgan Freeman'ın oğlu olarak dünyaya geldi. Compton, Kaliforniya'da büyüdü. Cal State University, Long Beach'e Sanat Bölümü öğrencisi olarak katıldı ve sonunda El Camino College'dan Psikoloji derecesiyle mezun oldu.Alfonso ünlü babasıyla 1979'da tele-pazarlamacı olarak çalışırken telefonla tanışmadı. Sonunda 1984 yılında, babası Atlanta Çocuk Cinayetleri adlı mini dizinin çekimleri için Los Angeles'ta bulunduğu sırada yüz yüze tanıştılar. Alfonso 1993 yılında oyunculuğa adım attı ve ilk kamera önü rolünü Esaretin Bedeli filminde Taze Balık Con olarak aldı. O zamandan bu yana film, televizyon, sahne, reklam ve seslendirme alanlarında etkileyici bir liste oluşturdu.