1933 yılında Stalingrad'da komünist bir ailede doğan yönetmenin adı, Engels, Marx ve Lenin'in isimlerinin kısaltmalarından oluşmaktadır. Doğduğu şehirde daha çocukken tanık olduğu savaşın dehşeti üzerinde büyük etki bıraktı. 1957 yılında Moskova Havacılık Enstitüsü'nden, 1964 yılında Biz Kronştadlıyız filminin (1936) ünlü yönetmeni Efim Dzigan'ın sınıfında okuduğu VGIK (S.A. Gerassimov Federal Devlet Sinematografi Enstitüsü) Film Yönetmenliği Fakültesi'nden mezun oldu. Sovyet Film Yönetmenleri Birliği'nin kurucu üyesi ve ilk genel sekreteriydi. Kariyerine basit hiciv ve güldürü filmleriyle başlayan Klimov, 1981 yılında Rahip Rasputin'in Romanov sarayındaki yozlaşmış hayatını konu alan Agoniya'yı (Can çekişme) çekti. Klimov'u asıl üne kavuşturan eseri ise gençliğinden beri tasarladığı, 1940'ların başında işgal altındaki Belarus'ta bir gencin partizanlara katılma öyküsünü anlatan 1985 tarihli "İdi i Smotri" (Gel ve Gör) filmi oldu.
Klimov, 1983 yılında 33. Berlin Uluslararası Film Festivali'nde jüri üyesi oldu.
Elem Klimov, altı hafta komada kaldıktan sonra Ekim 2003 yılında beyin hipoksisinden öldü. Moskova'da, Troyekurovskoye Mezarlığı'nda toprağa verildi.
Elem Klimov, yine ünlü bir Sovyet film yönetmeni olan Larisa Şepitko'yla evliydi.