Los Angeles, Kaliforniya'da doğan James Haven, Jon Voight ve Marcheline Bertrand'ın oğlu, Angelina Jolie'nin ise kız kardeşidir. Anne ve babası 1976 yılında ayrıldıktan sonra James ve Jolie anneleri tarafından büyütüldü ve anneleri oyunculuğu bırakarak onları Palisades, New York'a taşıdı. 1986 Akademi Ödülleri'ne babasıyla, 2000 Akademi Ödülleri'ne ise kız kardeşiyle birlikte katıldı. Kabul konuşmasında Angelina kardeşine aşık olduğunu iddia etti ve bu da hem James hem de Jolie'nin reddettiği ensest hakkında tuhaf dedikodulara neden oldu. James 2006 yılından bu yana, insan hakları, hayvan hakları ve çevre konularını ele alan filmleri öne çıkaran bir Los Angeles festivali olan Artivist'in yönetim kurulu başkanlığını yürütmektedir.