Lawrence "Larry" Casey, 1940 yılında William ve Florence Casey çiftinin sekiz kardeşinden (William Jr., Paul, John, Joseph, Mary, Peter ve merhum Michael) biri olarak dünyaya geldi. Larry 10 yaşındayken ailesi Manhattan'ın Doğu Yakası'na taşındı ve burada çok uzun boylu ve atletik Larry beyzbol oynadı ve bir gün profesyonel bir top oyuncusu olmak istedi. Casey'nin babası Şubat 1955'te öldü ve Larry beyzbolu bırakarak ailesine destek olmak için okuldan sonra çalışmaya başladı. Liseden 1958 yılında mezun oldu. 1962 yılında annesi Guilford'da bir mandıra satın aldı ve Aralık 2004'teki ölümüne kadar, yani dul kaldıktan neredeyse 50 yıl sonra oğulları Paul ve John ile birlikte burada yaşadı. Larry Casey ve eşi Katha'nın üç çocuğu var.