Ernest Anderson Lynn MA'da doğdu ve lise diplomasını Washington D.C.'de, eski adı The Preparatory High School for Colored Youth olan Dunbar High School'da aldı. 1891 yılında kurulan bu okul, Amerika'da siyah öğrenciler için açılan ilk devlet lisesiydi. Lisans derecesini Northwestern Üniversitesi Drama ve Konuşma Okulu'ndan aldı. Hollywood'a taşındı ve Bette Davis "In This Our Life" (1942) filmindeki Perry Clay rolü için görüşme ayarladığında servis departmanında çalışıyordu. Bay Anderson, yönetmen John Huston'ı, karakterinin o dönemin Hollywood'una özgü ırkçı diyaloğunu, ağırbaşlı bir zeka ve duyguyla değiştirmeye ikna etti. İkinci Dünya Savaşı'nda ülkesine hizmet ettikten sonra Warner Brothers'a döndü ve burada Amerika'nın siyah oyuncularının rollerini insanileştirmeye devam etti. 1960'ların sonlarına kadar filmlerde aktif olarak çalıştı. DeLand, Florida'da 5 Mart 2011 tarihinde öldü.