30 yılı aşkın bir süre boyunca İngiltere, İrlanda ya da İskoçya'da geçen Hollywood filmlerinin demirbaşı olan Harvey'nin ilk filmi, masum olduğu sanılan ama aslında hiç de saf olmayan bir genç kızın öyküsünü anlatan The Lilac Sunbonnet'deki (1922) Jock Gordon rolüydü. Harvey aşka tutulmuş bir adamı canlandırdı. Hollywood'da geçirdiği süre boyunca 14'ü sessiz olmak üzere 116 filmde rol alan Harvey, sesli filmlerin çekilmeye başlamasıyla birlikte karakter rollerini geliştirdi ve genellikle Cockneyli bir tüccar, aile bahçıvanı ya da bir pub sakini olarak rol aldı. En ünlü rolleri 30'lu yıllarda Johnny Weissmuller'in Tarzan Maymun Adam (1932) filminde entrikacı safari grubunun bir parçası olan Beamish rolüyle geldi. 1933 yılında, klasik Görünmeyen Adam (1933) filminde hancı Herbert rolünde, karısı rolündeki Una O'Connor ile birlikte oynadı ve filmi Claude Rains'ten çaldılar. Diğer rolleri arasında Frank Capra'nın Broadway Bill (1934) filmindeki Bradshaw, The Wolf Man (1941) filmindeki Twiddle ve Mrs Miniver (1942) filmindeki Mr Huggins vardı.