Peter Frederick Weller Stevens Point, Wisconsin'de Dorothy Jean (Davidson) ve federal yargıç ve Birleşik Devletler Ordusu'nda helikopter pilotu olarak görev yapan Frederick Bradford Weller'ın oğlu olarak dünyaya geldi. Babası kelimenin tam anlamıyla dünyayı uçarak dolaştığı için o da çok seyahat etti. Daha ergenlik çağına gelmeden Heidelberg, Almanya ve San Antonio, Teksas'taki liselere gitmiş, ardından Kuzey Teksas Üniversitesi'ne kaydolmuştur - üniversitenin ünlü caz gruplarından birinde trompet çalma şansı onu cezbetmiştir. Müzik onun ailesinde var. Anne tarafından üç kuşak piyanistti ve caz hala en büyük ilgi alanı. Ona herhangi bir sanat dalında en sevdiği sanatçının kim olduğunu sorduğunuzda Miles Davis diyecektir. Tiyatro lisans derecesi ve Amerikan Dramatik Sanatlar Akademisi'nden aldığı bursla Teksas'tan New York'a gitti. Mezun olduktan iki hafta sonra Broadway'de ilk kez Joseph Papp'ın New York Shakespeare Festivali'nde David Rabe'in "Sticks and Bones" oyununda David rolüyle sahneye çıktı ve bu rolü Londra sahnesinde de tekrarladı.Efsanevi oyuncu ve tiyatro koçu Uta Hagen'in öğrencisi olan Weller, Broadway'de ve Broadway dışında William Inge'nin "Summer Brave", Thomas Babe'in "Rebel Women" ve Otto Preminger'in yönettiği son oyunlardan biri olan "Full Circle" gibi eserlerde rol aldı. Mike Nichols'ın Lincoln Center'da Joseph Papp için yönettiği "Streamers" filmindeki Billie Wilson rolüyle eleştirmenlerin beğenisini kazanmaya başladı. Bu başarısını "The Woolgatherer" filmindeki Cliff ve David Mamet'in "The Woods" filminin ilk Amerikan yapımındaki Nick performanslarıyla sürdürdü. Bu dönemde, Elia Kazan ve Lee Strasberg'in himayesindeki saygın Actor's Studio'nun bir üyesi oldu.Weller'ilk filmini Richard Lester'ın Butch and Sundance filminde oynadı: The Early Days (1979) filminde oynadı. Daha sonra Sidney Lumet'in Just Tell Me What You Want (1980) filminde Alan King ve Ali MacGraw'la ve Alan Parker'ın Erişilmez Duygular (1982) filminde Albert Finney ve Diane Keaton'la birlikte rol aldı. Diğer filmleri arasında Teri Garr'la oynadığı İlk Göz Ağrısı (1984), Lesley Ann Warren'la birlikte rol aldığı HBO yapımı Apology (1986) ve Weller'a Paris Uluslararası Film Festivali'nde ciddi bir fare sorunu olan, yükselişte olan bir bekarı canlandırdığı performansıyla En İyi Erkek Oyuncu ödülünü kazandıran Of Unknown Origin (1983) sayılabilir. Aynı film, Vurgun'un (1989) yönetmeni George P. Cosmatos'la ilk birlikteliği oldu.