Anson, Mount Prospect, IL'de doğmuş ve White Bluff, Tennessee'de büyümüş Amerikalı bir aktördür. Annesi eski bir profesyonel golfçü olan Nancy Smith'tir. Babası Anson Adams Mount II, Playboy dergisine katkıda bulunan orijinal editörlerden biriydi. Anson'ın Anson Adams III adında bir ağabeyi ve babasının ilk evliliğinden Kristin adında bir kız kardeşi vardır. Büyük büyük büyük dedesi İç Savaş'ta Konfederasyon süvari albayıydı. Anson 1995-1998 yılları arasında MFA Oyunculuk Programı için Güney Üniversitesi ve Columbia Üniversitesi'ne katıldı.