Dansçı Elvera Davis (kızlık soyadı Sanchez) ve vodvil yıldızı Sammy Davis Sr. çiftinin oğlu olarak Harlem, Manhattan'da dünyaya geldi. Babası Afro-Amerikalı, annesi ise Küba ve Afro-Amerikan kökenliydi. Davis Jr. her şeyi yapabilen, şarkı söyleyen, dans eden, enstrüman çalan, oyunculuk yapan, stand-up yapan biri olarak biliniyordu ve kendini küçümseyen mizahıyla tanınıyordu; bir keresinde ayrımcılıktan şikayet eden birini duymuş ve şöyle demişti: "İşiniz kolay. Ben kısa boylu, çirkin, tek gözlü, siyah bir Yahudiyim. Sence bu benim için nasıl bir şey?" (Yahudiliğe geçmişti) Orduda geçirdiği kısa bir süre gözlerini ırkçılığın kötülüklerine açtı. Ufak tefek bir adam olduğu için kendisinden daha iri olan beyaz askerler tarafından sık sık dövülüyor ve sırf siyah olduğu için beyaz subaylar tarafından en kirli ve tehlikeli görevlere veriliyordu. 1950'lerde ve 1960'larda, özellikle de sık sık sahne aldığı Las Vegas'ta gösteri dünyasındaki ırkçı engellerin yıkılmasına yardımcı oldu. 1950'lerin başında orada çalışmaya başladığında, siyahları müşteri olarak kabul etmedikleri için oynadığı otellerde kalmasına izin verilmedi. Ayrıca 1960'larda sarışın, mavi gözlü, İsveç doğumlu aktris May Britt ile açıkça çıkarak ve nihayetinde evlenerek büyük tartışmalara yol açtı. 1960'larda Broadway müzikali "Golden Boy"'da rol aldı. Başlangıçta başarılı olan müzikal, iç gerilimler, prodüksiyon sorunları ve kötü eleştiriler - çoğu Davis'e aslen beyaz bir adam için yazılmış bir rolü oynadığı için yöneltilen eleştiriler - nedeniyle oldukça hızlı bir şekilde kapanmıştır. Ancak film ve gece kulübü kariyeri tüm hızıyla devam ediyordu ve Dean Martin, Frank Sinatra, Joey Bishop ve Peter Lawford'un da dahil olduğu özgürce eğlenen bir grup olan "Rat Pack"'ten biri olarak daha da ünlü oldu. 64 yaşında gırtlak kanserinden öldü. Öldüğünde borç içindeydi. Davis'in cenaze masraflarını karşılamak için hatıra eşyalarının çoğu satıldı.