David'in babası 1967'de ölen Rev. W.J. Parradine Frost'tu. 1903 doğumlu annesi Mona, Beccles, Suffolk'ta yaşıyordu. Whitby'de yaşayan Bayan Margaret Bill adında bir kız kardeşi vardı. Norfolk, Theberton yakınlarındaki Eastbridge'de Sweet Briar Cottage, Londra, Knightsbridge'de bir Georgian şehir evi ve New York'ta bir otel süitine sahipti. Aktris Lynne Frederick ile 1981 yılında yaptığı evlilik 6 ay sürmüştür.