Cary Elwes, Westminster, Londra, İngiltere'de iç mimar/gemi varisi Tessa Georgina Kennedy ve merhum portre ressamı Bede Evelyn Dominick Elwes'in üçüncü oğlu olarak dünyaya geldi. Yapımcı/menajer Cassian Elwes ve sanatçı Damian Elwes'in kardeşidir. Londra'da büyüdü ve Harrow'a gitti. Harrow'dan mezun olduktan sonra ABD'ye taşındı ve Sarah Lawrence College'da drama eğitimi aldı. Film kariyerine başlamak için iki yıl sonra okulu bıraktı. Cary hem meslektaşları hem de hayranları tarafından büyük saygı görüyor ve pek çok kişi tarafından günümüzde çalışan en iyi aktörlerden biri olarak kabul ediliyor. Tarihe ilgi duyuyor ve şöyle diyor: "Filmlerimin çoğunun dönem eserleri olması kasıtlı bir şey". Çevreyi korumak ve Amerikan yerlilerine yardım etmek gibi inandığı davalar için politik olarak aktif olan Elwes, fotoğrafçı Lisa Marie Kurbikoff ile evli. Baba tarafından köklü bir Katolik İngiliz ailesinden gelmektedir. Akrabaları arasında Fr. Luke Cary-Elwes, Dom Columba Cary-Elwes ve Dom Cuthbert Cary-Elwes gibi önde gelen Katolik din adamları bulunmaktadır. Büyükbabası sosyete ressamı ve savaş sanatçısı Simon Elwes'tir. Cary (soyadı "Cary-Elwes" ailenin bazı kollarında "Elwes" olarak kısaltılmıştır) bir Katolik lisesine gitmemiş olmasına rağmen Londra'daki Brompton Oratory'de papaz yardımcısı olarak görev yapmıştır. Avusturya-Macaristan İmparatorluğu'nda (şimdi Hırvatistan'da) Osijek'te doğan anneannesi Daska Marija Ivanovic-Banac'tan Hırvat Yahudisi ve Sırp soyuna sahiptir. Cary'nin diğer soyları İngiliz, İrlandalı ve İskoç'tur.