German 1938'de Leningrad'da (bugün St. Petersburg, Rusya) doğdu; babası yazar Yuri German'dı. 1960'a kadar Grigori Kozintsev'in öğrencisi oldu ve ardından Lenfilm stüdyosuna yönetmen yardımcısı olarak katılmadan önce tiyatroda çalışmaya başladı. İlk yönetmenlik deneyimini 1967'de Grigori Aronov ile birlikte yönettiği Sedmoy Sputnik ile yaşadı. Kariyeri boyunca birçok projesi prodüksiyon zorlukları veya resmi muhalefetle karşılaştı; 50 yılda sadece altı uzun metrajlı film tamamlayabildi, son filmi ise ölümünden sonra oğlu Alexei German tarafından tamamlanan ve 2013'te Roma Film Festivali'nde gösterime giren bilim kurgu filmi Hard to Be a God oldu.
Trial on the Road (1971), Alexei German'ı ünlü yapan filmdir. On beş yıl boyunca yasaklanmış ve Gorbaçov döneminde gösterime girene kadar (1986) Sovyetler Birliği Kültür Bakanlığı tarafından rafa kaldırılmıştır.
1987'de Rotterdam Uluslararası Film Festivali'nde (Hollanda) Alexei German, yönetmen olarak üç filmiyle KNF Ödülü'nü aldı: Yolda Duruşma, Savaşsız Yirmi Gün ve Arkadaşım Ivan Lapshin.
German, senarist Svetlana Karmalita ile evliydi; Aleksei Alekseivich German adında, kendisi de yönetmen olan bir oğulları vardı. German 21 Şubat 2013'te kalp yetmezliğinden öldü.
German'ın filmlerinin çoğu Joseph Stalin dönemi ve İkinci Dünya Savaşı sırasında geçer ve bu dönemi eleştirel bir bakış açısıyla tasvir eder. Çoğunlukla siyah beyaz ya da çok sessiz renklerle çekilen filmleri kendine özgü "karanlık" bir görünüme sahiptir ve genellikle "yaşlı" olarak tanımlanır. Bir yönetmen olarak inatçılığı, ne kahraman ne de anti kahraman olarak kategorize edilebilecek kahramanları öne çıkarması ve tipe aykırı oyuncuları oynatmasıyla tanınır.