William Caskey Swaim 11 Ocak 1947'de Lexington, Kuzey Carolina'da doğdu. Carey Swaim ve Anne Swaim'in oğlu olan Caskey'nin iki ablası ve bir ağabeyi vardır. Grimes İlkokulu'nun yanı sıra Lexington Junior High School ve Lexington Senior High School'a devam etti. Swaim sinemaya ve oyunculuğa ilk kez çocukken, kız kardeşlerinin onu Carolina tiyatrosunda Rıhtımlar Üstünde (1954) filmini izlemeye götürmesiyle ilgi duymaya başladı ve Elvis Presley'den çok etkilendi (Swaim on ve on bir yaşlarındayken hem okulda hem de yerel golf kulübünde Presley'in taklitlerini yapardı). Caskey on yedi yaşındayken Winston-Salem Küçük Tiyatrosu'ndaki oyunlarda iki küçük rol oynadı. 1965'te liseden mezun olduktan sonra Swaim, Boiling Springs, Kuzey Carolina'daki Gardner-Webb Üniversitesi'nde bir buçuk yıl boyunca liberal sanatlar bölümünde okudu, ancak Caskey'nin üniversite eğitimi ordu tarafından askere alındıktan sonra aniden yarıda kesildi. Swaim, Japonya'nın Okinawa kentinde on sekiz ay sıhhiye eri olarak görev yaptıktan sonra 1969 yılında görevinden eve döndü ve para biriktirmek için yaklaşık bir yıl boyunca Lexington'da düzenli bir işte çalıştı. Caskey, Kaye Smith ile evlendi ve ardından 1971 yılının Şubat ayında yeni eşiyle birlikte Kaliforniya'ya taşındı. Çift, Kuzey Hollywood'daki Burbank Bulvarı'nda bir daire kiraladı. Bu süre zarfında Caskey bir nekahat hastanesinde gece işinde çalışırken gündüzleri de oyunculuk kariyerine devam etti. Swaim turist olarak Universal Stüdyolarını ziyaret ederken bir aktörle tanıştı ve bu aktör ona G.I. Bill tarafından desteklenen Film Oyuncuları Atölyesi hakkında bilgi verdi. Caskey, aktör ve oyuncu koçu Charles Conrad'dan oyunculuk eğitimi aldı ve bir otelde bellboy olarak ikinci bir işte çalıştı. Swaim'in büyük oyunculuk çıkışı, Los Angeles'taki Theater Craft Playhouse'da "Of Mice and Men" adlı sahne yapımında çiftlik görevlisi olarak küçük bir rol aldıktan sonra gerçekleşti. Kısa bir süre sonra filmlerde ve televizyonda bir kariyer izledi.