İsviçre'de doğdu. Liseden mezun olduktan sonra Xavier Koller ilk olarak hassas alet yapımcısı olarak dört yıllık bir çıraklık eğitiminden geçti Drama Akademisi'nde üç yıl eğitim aldıktan sonra İsviçre'nin Zürih kentinde aktör/yönetmen olarak mezun oldu ve sonraki birkaç yılını Almanya ve İsviçre'de oyunculuk ve yönetmenlik yaparak geçirdi. İsviçre tiyatrolarında. Aktör olarak bir dizi TV dizisinde oynadı, yönetmenlik yaptı reklamlarda oynadı, filmlerde rol aldı ve daha sonra yazmaya ve yönetmeye başladı. uzun metrajlı filmler.