Caan, Almanya'dan göç etmiş Yahudi bir ailenin çocuğu olarak The Bronx, New York'ta doğdu. Neighborhood Playhouse Tiyatro Okulu'ndan mezun olmasının ardından Blood, Sweat and Stanley Poole oyunuyla Broadway'de sahneye çıktı. Daha sonra Dokunulmazlar (The Untouchables) gibi televizyon dizilerinde oynadı. Cani ruhlu bir adamı canlandırdığı gerilim filmi Lady in Cage ilk önemli rollerinden bir tanesiydi. 1967'de Caan, El Dorado'da efsane aktör John Wayne ile beraber rol aldı. Beyin özürlü bir futbolcuyu canlandırdığı, Francis Ford Coppola'nın yönettiği 1969 yapımı The Rain People ile dikkat çekti. Bundan birkaç yıl sonra Coppola, Baba (The Godfather) filmindeki Sonny Corleone rolü için Caan'ı seçti. Caan, bu filmden sonra çok büyük kitlelerce tanınan bir aktör konumuna gelmesinin yanı sıra bu film, ona 'En İyi Yardımcı Erkek Oyuncu' dalında Oskar adaylığı getirdi.

Caan, 1973’den 1982'ye dek birçok sinema filminde rol aldı. 'Mafya oyuncusu' yaftasından kurtulmak için çok çeşitli karakterlere hayat verdi. İlk ve tek yönetmenlik denemesini 1980 yılında, tanık koruma programındayken kaybolan oğlunu arayan bir babanın hikayesinin anlatıldığı Hide In Plain Sight filmi ile gerçekleştirdi. Film olumlu eleştiriler alsa da gişelerde umduğunu bulamadı. 1981 yılında Caan, Michael Mann'in yönettiği Thief filminde başrol oynadı. Profesyonel bir hırsızı canlandırdığı bu film, film noir klasikleri arasına girmeyi başardı. 1982'den 1987'ye kadar hiçbir filmde rol almadı. 1987'de Vietnam Savaşı'nın konu edildiği, Francis Ford Coppola tarafından yönetilen Gardens of Stone filminde rol aldı.

1988 ile 1990 yılları arasında Caan, Alien Nation, Dick Tracy, Misery gibi popüler filmlerde rol aldı. 1992'de Honeymoon in Vegas filminde Nicolas Cage ve Sarah Jessica Parker ile başrolleri paylaştı. Oynadığı diğer filmlerden bazıları Eraser (1996), Mickey Blue Eyes (1999), The Yards (2000), City of Ghosts (2002), Dogville (2003) ve Elf (2003).

Caan toplam 4 kez evlendi. 1960'ta ilk evliliğini Dee Jay Mattis ile yaptı, 1964'te Tara adlı bir kızı oldu ve 2 yıl sonra ayrıldı. 1976'da Sheila Marie Ryan ile kısa süren bir evlilik yaptı ve bu evlilikten aktör Scott Caan doğdu. 1990'da bu kez Ingrid Hajek ile evlendi ve 1991'de Alexander adında bir oğlu dünyaya geldi. 1995'te boşandıktan sonra son evliliğini aynı yıl Linda Stokes ile gerçekleştirdi. 1995'te James Arthur ve 1998'de Jacob Nicholas adında 2 oğlu daha olduktan sonra 2009'da 4. evliliği de sonlandı.