East London bölgesinin Canning Town kasabında doğup büyümüştür. Babası Winston Sierra Leone'li, annesi Eve ise Ganalı olan Elba, 16 yaşında okulu bırakarak National Youth Music Theatre'a girdi. Bir yandan para kazanabilmek için lastikçide ve babasının da çalıştığı araba fabrikasında ek işler yaptı. Çeşitli dizilerde bölüm oyuncusu olarak yer alan Elba, 1990'ların ortalarında televizyon dünyasında yer almaya başladı.

İlk önemli rolünde 1997'de Family Affairs isimli dizide Tim karakterini canlandırdı. Daha sonra HBO dizilerinden olan The Wire'da Baltimore uyuşturucu patronu olan Russell "Stringer" Bell karakteriyle Amerika Birleşik Devletleri'nde de ün kazandı. 2007'de Ridley Scott'ın American Gangster filminde Tango rolünde oynadı. 2010'da Luther adlı polisiye dizide dedektif John Luther'a hayat vermeye başladı. 2011'de Marvel filmi Thor'da Heimdall'ı canlandırdı ve serinin diğer filmlerinde aynı karakteri canlandırmaya devam etti. Thor'dan sonra Ghost Rider: Spirit of Vengeance, Prometheus, Pacific Rim gibi yüksek bütçeli filmlerde arka arkaya oynamaya başladı. 2013 yapımı Mandela: Long Walk to Freedom filminde Güney Afrika'nın unutulmaz devlet başkanı Nelson Mandela'yı canlandırdı. 2015 yapımı TV filmi Beasts of No Nation'da ise başrolü genç yıldız Abraham Attah ile paylaştı.

2016'da Orman Çocuğu filminde Bengal kaplanı Shere'yi seslendirdi. 2017'de 3 önemli filmde oynadı: Stephen King'in romanından uyarlanan Kara Kule filminde silahşör Roland'ı canlandıran Elba, Thor serisinin 3. filmi Ragnarok'ta yine Heimdall rolünde oynadı. Ayrıca Aramızdaki Sözler (The Mountain Between Us) filminde başrolü Kate Winslet ile paylaştı.

1999'dan 2003'e dek evli kaldığı Hanne "Kim" Norgaard'la ilişkisinden 2002 doğumlu Isan Elba adında bir kızı olan sanatçının, Naiyana Garth'la ilişkisinden 2014 doğumlu Winston Elba adında bir de oğlu vardır. Ayrıca Sonya Nicole Hamlin ile 2006'da kısa bir evlilik yaşamıştır.