James Fox, tiyatro menajerinin üç oğlundan ikincisidir. Robin Fox ve aktris eşi Angela Worthington - nam-ı diğer Angela Fox. Kardeşleri aktör Edward Fox ve yapımcı Robert Fox. Oyunculuğa çocuk oyuncuydu ve 20'li yaşlarının başına kadar gerçek adını kullandı. O Central School of Speech and Drama'da eğitim gördü. Dokuz yıllığına ayrıldı. 1970'ten 1979'a kadar Hıristiyan mesleklerini sürdürdü. Yeğeni aktris Emilia Fox ve aktör Daniel Chatto'nun üvey kardeşi. Mary Piper ile olan evliliğinden dört oğlu vardır: Thomas Fox, 1975 doğumlu; Robin Fox, 1976 doğumlu; aktör Laurence Fox, 1978 doğumlu; Jack Fox, 1985 doğumlu ve Lydia Fox adında 1979 doğumlu bir kızı var. Kendisi "Comeback" adlı bir kitap yayınladı: An Actor's Direction" adlı kitabı 1983 yılında yayımladı.