Louis, Missouri'de John L. Field ve Eunice Stearns Field'ın kızı olarak dünyaya geldi. Anne ve babası Kuzey Carolinalı'ydı ve o daha bebekken Kuzey Carolina'ya döndüler. Marion, NC'de büyüdü. Charlotte, NC'deki Queens College'a katıldı ve Winston-Salem, NC'deki Salem College'dan İngilizce ve Müzik alanlarında çift anadal yaparak mezun oldu. UNC-Chapel Hill'de yüksek lisans dersleri aldı. 23 Haziran 1962'de ABD Deniz Kuvvetleri'nden Teğmen Kenneth O. Pankow ile evlendi. Asheville, NC'de yaşadılar. Joanne uzun yıllar okulda öğretmenlik yaptı, ancak profesyonel bir oyuncu olarak kariyer yapmak için öğretmenlikten erken emekli oldu. TV dizisi "In the Heat of the Night," ile başladı ve 60'tan fazla filmde, dizide, reklamda vb. rol aldı. William Faulkner'ın bir kısa öyküsünden uyarlanan ve en iyi kısa film dalında Oscar kazanan "Two Soldiers," adlı kısa filmde oynadı. Oyunculuğun yanı sıra Joanne başarılı bir müzisyendi. Piyano, boru org ve arp çalardı.