Nicholson 1937'de Neptune City, New Jersey'de doğdu. Nicholson doğduğunda annesi June Frances Nicholson New York'ta dansçı olarak çalışmaktaydı. Evlilik dışı ilişki sonucu doğan Nicholson’ın biyolojik babası kesin olarak bilinmemektedir. Küçüklüğünde annesini ablası, büyükannesini ve büyükbabasını gerçek annesi ve babası sanıyordu. Ancak ablası sandığı kişinin aslında annesi olduğunu ancak 37 yaşındayken öğrenebildi. 

Hollywood’a ünlü animasyon sanatçıları William Hanna ve Joseph Barbera’nın yanında ofis yardımcısı olarak çalışarak girdi. Bu dönemde yeteneği farkedildikten sonra düşük bütçeli filmlerde 1958’den itibaren oynamaya başladı. Oyunculuk kariyerinde büyük bir çıkış yapamadığı için senaristliği denedi. Ancak 1967’de kült film Easy Rider’da aldığı başrolden sonra talihi döndü. En İyi Yardımcı Oyuncu dalında ilk Oscar adaylığını elde etti. 1970’de Five Easy Pieces ile yeniden Oscar adayı oldu. 1974’te Roman Polanski’nin Chinatown filminde rol aldı. 1975’te ise ilk Oscar ödülünü Guguk Kuşu’ndaki McMurphy rolüyle kazandı. Sinema tarihinin en iyi performanslarından birini sergileyen Nicholson artık Hollywood’un en önde gelen birkaç aktörü arasındaydı.

1977 yılında ise adı büyük bir skandala karıştı. Arkadaşı Roman Polanski’nin kendi evinde reşit olmayan bir kızla birlikte olmasının ardından Polanski tutuklandı, ancak mahkeme sonuçlanmadan önce Fransa’ya iltica etti.

1980’de Stanley Kubrick’in gerilim filmi The Shining’deki yazar Jack Torrance rolü kariyerinin zirve noktalarından biridir. 1983’te Terms of Endearment filmindeki rolü, ona En İyi Yardımcı Erkek Oyuncu dalında Oscar getirdi. 1989’da Tim Burton’ın Batman filminde, acımasız Joker karakterini yine müthiş bir performansla canlandırdı. 1992’de ise Birkaç İyi Adam filmindeki Albay Nathan Jessup rolüyle yine gündeme geldi.

1997’de obsesif kompülsif bozukluğa sahip yazar Melvin Udall’ı canlandırdığı Benden Bu Kadar filmindeki performansı, ona 3. ve son Oscar ödülünü getirdi. 2000’li yıllarla birlikte daha az projede gözükmeye başladı. Bunların en önemlileri Schmidt Hakkında (2002), Köstebek (2006) ve Şimdi ya da Asla (2007) filmleridir. 2010'da Nereden Biliyorsun? adlı romantik komedide rol aldı. Jack Nicholson aktif olarak oyunculuğa devam etmemektedir.

Jack Nicholson’ın tek resmi evliliği, 1962-68 yıllarında Sandra Knight ile gerçekleşmiştir. Bu evlilikten 1963 doğumlu Jennifer adında bir kızı vardır. 1970’te Susan Anspach’tan doğan Caleb James Goddard’ın Nicholson’ın oğlu olduğu iddia edilse bu kesin değildir. 1970’li yılların başından itibaren Anjelica Huston ile 20 yıla yakın bir süre, aralıklarla beraber olmuştur. 1981’de Danimarkalı manken Winnie Hollman’dan Honey Hollmann adlı bir kızı olmuştur. 1989-94 arası birlikte olduğu Rebecca Broussard’dan 1990 doğumlu Lorraine ve 1992 doğumlu Raymond adlı 2 çocuğu daha olmuştur.

Aday gösterildiği 12 Oskar ödülünün 3'ünü kazanmıştır. Erkeklerde 3 Oscar almış olan üç kişiden biridir (Walter Brennan ve Daniel Day-Lewis ile birlikte).  Ayrıca 17 kez aday gösterildiği Altın Küre ödülünün 6'sını kazanmıştır. Ayrıca 1999’da Cecil B. DeMille adına verilen Onursal Altın Küre’nin de sahibi olmuştur. Bunun yanında 1994 yılında Amerika Film Enstitüsü’nden Ömür Boyu Başarı Ödülü’nü alarak, bu ödülü alan en genç oyuncu ünvanını kazanmıştır.

Sıkı bir Los Angeles Lakers taraftarı olan Nicholson, 1970'ten beri Lakers'ın sezonluk bilet sahibidir. En ön sırada oturduğu için zaman zaman rakip oyuncularla ve hakemlerle yaşadığı diyaloglarla gündeme gelmektedir. Yakın arkadaşı Roman Polanski’nin eşi Sharon Tate’in 1969'da Manson Ailesi tarafından öldürülmesinin ardından yastığının altında bir çekiçle uyumaya başlamıştır.