Paris Vaugirard School okulunda edebiyat eğitimi aldı. Sinemaya başlamadan önce reklam yönetmenliği yapan ve yüzden fazla reklam filmini yöneten Jean-Jacques Annaud, 1976 yılında Noirs et Blancs en Couleur (Black and White in Colour - 1976) filmini çekerek sinemaya geçmiş oldu. Kamerun'da askeri görevini yaparken yaşadığı olaylardan yola çıkarak yazdığı ve yönettiği bu filmi, Fransa seyircisi tarafından fazla ilgi görmedi ancak o yıl En İyi Yabancı Film dalında Oscar ödülüne aday gösterildi ve ödülü kazandı.

Bir sonraki filmi Coup de Tête (Hothead - 1979) ile ülkesinde sesini duyuran Annaud, 1981 yılında sinema tarihinin en ilginç yapıtlarından birine imza atarak daha geniş kitlelere ulaşma imkânı buldu. La Guerre du Feu (Ateşi arayış - 1981) adlı filminde ateşi bulan ilk insanların, ateşin sönmesi üzerine yeni bir ateş kaynağı bulmak için aralarından birkaç kişiyi uzaklara yollaması anlatılıyor. Bu ağır görevi üstlenen insanları başka kabileler ve doğa ile yaşadıkları mücadele içinde perdeye aktaran Annaud, bu filmi ile Fransız Cesar Ödülleride, En İyi Film ve En İyi Yönetmen ödüllerini aldı.

1986 yılında Sean Connery ile çalıştığı ve Umberto Eco'nun aynı adlı romanından uyarlanan Der Name der Rose (Gülün adı - 1986) filmini çekti. Uyarlama yapımlar arasında önemli bir yere sahip olan bu filmi, 1989 yılında çektiği L'Ours (Ayı - 1989) takip etti. La Guerre du Feu ile elde ettiği Sınıflandırılamayan Filmlerin Yönetmeni unvanını bu filmi ile perçinleyen Annaud, iki ayı arasındaki sevgi bağını ve insanlara karşı bu bağı korumalarını anlatan filminde belgesel doğallığındaki tarzının zirvesine çıktı.

1920'li yıllarda Fransız Hindiçini'nde geçen, Fransız bir kadın ile Çinli bir erkeğin arasındaki sıra dışı ilişkiyi perdeye taşıyan L'Amant (The Lover - 1992) filmini, 1995 yılında çektiği Guillaumet, les ailes du courage (Wings of Courage) izledi. And dağlarına düşen posta uçağının pilotu medeniyete geri dönüşü sırasında yaşadıklarını anlatan bu filmin ardından Seven Years in Tibet (Tibet'te Yedi Yıl - 1997) çekildi. Filmi sebebiyle Çin'de büyük tepki toplayan Annaud'u Çin'e girmesi yasaklandı ancak bu filmi hem sadık izleyicilerinin beğenisini topladı hem de yeni kitlelere ulaşabilmesini sağladı.

2001 yılında Avrupa'da yapılan en büyük bütçeli bağımsız film olan Enemy At The Gates (Kapıdaki Düşman - 2001) çekildi. Stalingrad kuşatması sırasında yaşanan gerçek bir olaydan esinlenilerek yazılan hikâye, çok büyük boyutlarda hazırlanan setlerde çekildi ve bilgisayarlı çekim, kurgu ve efekt tekniklerinin kullanımı nedeniyle Annaud'un sinemasında bir yenilik olarak görüldü.

2004 yılında tekrar hayvanlarla çalışan Annaud, bu kez küçükken birbirlerinden ayrılan iki kaplan yavrusunun yıllar sonra birbirleriyle dövüştürülmek için bir araya getirilişini anlatmaktadır.