Thomas Mark Harmon 2 Eylül 1951'de Burbank, Kaliforniya'da futbolcu ve yayıncı Tom Harmon ile oyuncu ve sanatçı Elyse Knox'un (kızlık soyadı Kornbrath) oğlu olarak dünyaya geldi. Harmon kolej futbolu oynadı ve TV'nin en yakışıklı aktörlerinden biri olarak başarı yakaladı. Rollerinin çoğu yakışıklılığa dayansa da, Harmon St. Elsewhere'de (1982) AIDS'e yakalanan nazik doktor rolüyle etkileyiciydi. Kız kardeşleri Tic Tac modeli Kelly Harmon ve müzisyen Ricky Nelson'ın eski eşi ressam Kristin Harmon'dır. Nelson grubundan müzisyenler Matthew Nelson ve Gunnar Nelson ile aktris Tracy Nelson'ın amcasıdır. 1987 yılında Harmon ve eşi aktris Pam Dawber, kız kardeşi Kristin Harmon'a en küçük oğlu Sam'in velayeti için dava açmıştır.