Kariyerine RSC ve The National Theatre sahnelerinde başlayan Olivia, Andrew Davies'in Emma (1996) uyarlamasıyla televizyona adım attı. Camden Town'daki rutubetli bir bodrum katından, Kevin Costner ile birlikte oynadığı 120 milyon dolarlık gişe rekortmeni Haberci'de (1997) Abby rolünü kazandı. Ertesi yıl, ünlü yönetmen Wes Anderson ve yapımcı Barry Mendel'in Bill Murray ile birlikte rol aldığı Çılgın Liseliler (1998) filminde Rosemary Cross rolünü üstlenen Olivia, Mendel ile olan birlikteliği sayesinde M. Night Shyamalan'ın dikkatini çekti ve Altıncı His (1999) filmindeki Anna Crowe rolü Olivia'nın kariyerinde belirleyici bir an oldu. Başrollerini Bruce Willis, Haley Joel Osment ve Toni Collette'in paylaştığı M. Night Shyamalan filminin gişedeki başarısı, filmin tüm zamanların en çok hasılat yapan filmlerinden biri olmasını sağladı. Olivia sonraki yıllarda Antonio Banderas'la birlikte The Body (2001), Dimension Films'in Diptekiler (2002) ve Universal Studios'un 100 milyon dolarlık Peter Pan uyarlamasında (2003) rol aldı.Kısa bir süre sonra, Helena Bonham Carter ve Paul Bettany ile birlikte oynadığı The Heart of Me (2002) filmindeki performansıyla Olivia, prestijli İngiliz Bağımsız Film Ödülleri'nde En İyi Kadın Oyuncu ödülünü kazandı.Olivia daha sonra BBC yapımı Miss Austen Regrets (2007) adlı filmde Jane Austen'ı canlandırdı ve hemen ardından Oscar adayı Aşk Dersi'nde (2009) Bayan Stubbs rolüyle bir başka başrolü üstlendi.Bu performanslara dayanarak Joss Whedon, Olivia'ya 20th Century Fox'un iki sezon süren kült televizyon dizisi Dollhouse'da (2009) Adelle DeWitt rolünü verdi.Olivia, Pierce Brosnan ve Ewan McGregor ile birlikte Hayalet Yazar'da (2010) Ruth Lang'ı canlandırarak sinema ekranlarına geri döndü. Joe Wright, Olivia'ya sonraki iki filmi Hanna'da (2011) Cate Blanchett ve Saoirse Ronan ile ve Anna Karenina'da (2012) Jude Law ve Keira Knightley ile birlikte rol verdi.Aynı yıl Olivia, yönetmen Roger Michell'in hit filmi Hudson'daki Hyde Park'ta (2012) Bill Murray, Olivia Colman ve Laura Linney'den oluşan topluluk kadrosuna katıldı.Olivia daha sonra televizyonda Case Sensitive (2011) ve Manhattan (2014) filmlerinde başrol oynadı ve her ikisi de eleştirmenlerden övgü aldı.Bu dönemde Olivia ayrıca Mars'taki Son Günler (2013), Jeff Bridges, Julianne Moore ve Alicia Vikander ile birlikte Yedinci Oğul (2014), David Cronenberg'in yönettiği Yıldız Haritası (2014) filmlerinde rol aldı ve Stephen Frears'ın yönettiği Victoria ve Abdul (2017) filminde Lady Churchill'i canlandırdı.Televizyona geri dönen Olivia, dönem draması The Halcyon'da (2017) Lady Priscilla Hamilton rolünde ve Counterpart'ın (2017) her iki sezonunda da Emily Burton Silk rolünde başrol oyuncusu J.K. Simmons ile birlikte rol aldı.Olivia'nın tiyatroya karşı her zaman derin bir tutkusu olmuştur. Olivia RSC'de Misha's Party, Wallenstein, The Broken Heart, The Wives Excuse ve Peer Gynt oyunlarında sahne almıştır. Olivia'nın National Theatre'daki geniş sahne kariyerinde yönetmen Roger Michell'in Waste, Trevor Nunn'ın yönettiği Love Labour's Lost, ABD turnesi de dahil olmak üzere Richard III, Happy Now?, Tartuffe ve Rufus Norris'in yönettiği Mosquitoes gibi oyunlar yer alıyor. Bunların yanı sıra Olivia, Garrick Tiyatrosu'ndaki Neil LaBute oyunu In A Forest Dark and Deep'te Matthew Fox ile birlikte rol aldı.Son yıllarda Olivia, Joss Whedon tarafından yaratılan ve yönetilen HBO dizisi The Nevers'ta (2021) Lavinia Bidlow rolünde ve Anthony Hopkins ve Olivia Colman ile birlikte Baba'da (2020) Catherine rolünde rol aldı.Parkland Pictures filmi The Trouble with Jessica'da (2023) Olivia, Rufus Sewell Alan Tudyk ve Indira Varma ile birlikte rol aldı. Bu filmin hemen ardından Olivia, Piero Messina'nın yönettiği ve Gael García Bernal ile birlikte rol aldığı 2024 yapımı Another End (2024) filminde oynadı.Olivia son olarak, Netflix'te yayınlanan dünya çapında hit TV dizisi The Crown'ın (2016) 5. ve 6. Sezonlarında Camilla Parker Bowles rolünü canlandırdı.Olivia bundan sonra HBO Max TV dizisi Dune'da görülecek: Prophecy (2024) dizisinde Tula Harkonnen rolünü canlandıracak.