Carroll Manhattan'da doğdu ve Yahudilerin yoğun olarak yaşadığı Forest Hills'de büyüdü. New York'un Queens ilçesinde doğdu. Liseden 1942 yılında mezun olduktan sonra O'Connor, Deniz Piyadeleri'ne katıldı ve Atlantik'teki gemilerde çalıştı. 1946 yılında İngilizce eğitimi almak üzere Montana Üniversitesi'ne kaydoldu. Oradayken tiyatroyla ilgilenmeye başladı. Amatör prodüksiyonlardan biri sırasında müstakbel eşi Nancy Fields ile 1951 yılında evlendi. O taşındı İrlanda'da tiyatro çalışmalarına Ulusal Tiyatro'da devam etti. İrlanda Üniversitesi. Üniversite yıllarından birinde keşfedildi. yapımlarında yer aldı ve Dublin Gate Tiyatrosu'nda sahneye çıkmak üzere sözleşme imzaladı. Kendisi New York'a döndüğü 1954 yılına kadar Avrupa'da tiyatroda çalıştı. Broadway'e çıkma girişimleri başarısız oldu ve 1954'e kadar lise öğretmenliği yaptı. 1958. Nihayet 1958'de, Broadway dışı bir prodüksiyon olan "Ulysses in Nighttown". Bunu bir Broadway prodüksiyonu ile takip etti. yönetmenliğini yaptığı 'Burgess Meredith', "God and Kate Murphy" filmlerinde rol aldı. hem dublör hem de sahne amiri yardımcısıydı. Aynı zamanda, o televizyonda dikkat çekiyordu. Birçok karakter rolünde çalıştı. 1960'lar boyunca. İlk olarak "Those Were The Days" için bir pilot film çekildi 1968'de İngiliz hiti "Till Death Do Us Part"'a dayanıyordu, ancak kanallar tarafından reddedildi. 1971 yılında yeniden çekildi ve All in the Family (1971) ve gerisi tarih oldu.