Caroline Lee Bouvier 3 Mart 1933'te New York'ta Janet Norton Lee ve John Vernou "Black Jack" Bouvier III'ün kızı olarak dünyaya geldi. Jacqueline Kennedy'nin küçük kız kardeşiydi. Anne tarafından büyükbabası James Thomas Lee'ye atfen Lee olarak adlandırılan Caroline, henüz birkaç yaşındayken anne ve babası ayrılana kadar lüks çatı katı dairelerinde yaşadı. Bundan birkaç yıl sonra annesi Hugh Dudley Auchincloss ile evlendi ve iki üvey erkek kardeşi, bir üvey kız kardeşi ve bir üvey erkek kardeşi oldu. Çocukluğu boyunca, kız kardeşinin de gittiği ünlü bir yatılı okul olan Miss Porter's da dahil olmak üzere yatılı okullara gitti. Mezuniyet hediyesi olarak Jackie onu üniversiteye gitmeden önce bir yazlığına Avrupa gezisine götürdü. Bu sıralarda, 1953 yılında 20 yaşındayken evleneceği adamla, Michael Temple Canfield ile tanıştı. Aynı yıl Canfield'lar, Lee'nin kız kardeşi Jackie ile dönemin ABD Senatörü (ve geleceğin ABD Başkanı) John F. Kennedy'nin evliliğinde sağdıç ve baş nedime olarak yer aldılar. 1958 yılında Canfield'lar İngiltere'ye taşındı ve Lee, Stash Radziwill adında sürgündeki Polonyalı bir soyluyla tanışmadan önce birkaç yıl burada yaşadılar. 1958'de eşlerinden boşanmaya karar verdiler ve 19 Mart 1959'da evlendiler. Oğulları Anthony beş ay sonra İsviçre'de dünyaya geldi. 1960 yılında, vaftiz babası yeni seçilen Başkan John F. Kennedy olan Tina adındaki kızları Anna Christina'yı kucaklarına aldılar. Bir yıl sonra Radziwill'ler, Lee'nin kayınbiraderi Başkan araya girip bunu mümkün kılmasaydı yapamayacakları bir Katolik töreniyle evlendiler. Sonuçta evlilik başarılı olmadı ve 1974 yılında boşandılar. Boşanmasından bu yana geçen 30 yıl boyunca Lee İngiltere'de sessizce yaşadı. 1994 yılında tek kardeşi olan kız kardeşi Jackie'yi kanserden kaybetti. Beş yıl sonra oğlu Anthony de kanserden öldü ve yeğeni John Kennedy Jr. ile eşi ve baldızı, yeğeninin kullandığı uçağın New England'da düşmesi sonucu hayatını kaybetti.