1967'de Kenosha, Wisconsin'de doğdu. Annesi Marie Rose kuaför, babası Frank Lawrence Ruffalo, Jr. ise inşaatlarda boyacı olarak çalışıyordu. Tania, Nicole ve Scott adlarında 3 kardeşi vardı. Babasının işleri nedeniyle Virginia'da büyüdü. Küçük yaşlarda oyunculuğa ilgi duymaya başladı. Virginia Beach'teki First Colonial Lisesi'ni bitirdikten sonra ailesiyle birlikte önce San Diego'ya, sonra Los Angeles'a taşındı. Burada Stella Adler Konservatuarı'nda oyunculuk eğitimi aldı. Kurucularından olduğu Orpheus Kumpanyası'yla birçok oyun yazıp yönetti, aynı zamanda bu oyunlarda oynadı. 30'a yakın oyunda yer alan Ruffalo, 1990'larda önce bağımsız filmlerde, sonra daha önemli yapımlarda oynamaya başladı. A Gift From Heaven, The Last Big Thing ve Safe Men sanatçının bu dönemde rol aldığı filmlerden birkaç tanesidir. Oyunculuğunun yanı sıra yazarlık yönü de kuvvetli olan Ruffalo 54 ve Ang Lee'nin yönettiği Ride With the Devil gibi filmlerin senaryolarını kaleme aldı.

Sinemada daha büyük roller almaya başlaması, ironik bir şekilde bir tiyatro oyunu sayesinde olur. This is Our Youth adlı oyundaki performansıyla ödül alan Ruffalo, bu sayede oyun yazarı Kenneth Lonergan'la tanışma fırsatı yakaladı. Lonergan'ın ilk filmi olan You Can Count On Me'deki Terry Prescott performansıyla Montreal Film Festivali'nin En İyi Aktör ödülüne layık görülür. Bu başarısının ardından yıldızı gitgide parlamaya başlayan yetenekli aktör, rotasını Hollywood'a çevirdi ve 2001 yılında Robert Redford ve James Gandolfini'nin oynadığı The Last Castle'da ve aynı yıl John Woo'nun yönettiği Windtalkers”da izleyici karşısına geçti. The Last Castle adlı filmin çekimleri sırasında Ruffalo'nun beyninde tümör olduğu anlaşılınca beyin ameliyatı geçirerek birkaç ay dinlenmeye çekildi. Tamamen iyileştikten sonra sinema dünyasına geri dönen Ruffalo, 2003 yılında Gwyneth Paltrow'un başrolde oynadığı View From the Top'ta Paltrow'un erkek arkadaşını canlandırdı.

2003 yılında XX/XY adlı filmle hayranlarının karşısına çıkan oyuncu, bağımsız sinemada çalışmalarına devam etti. Aynı yıl Meg Ryan'la başrolü paylaştığı Tutku Esirleri (In the Cut) filminde tutkulu bir dedektifi canlandırdı. 2004'te Michel Gondry'nin yönettiği ve kült statüsüne erişen romantik yapım Sil Baştan'da (Eternal Sunshine of the Spotless Mind), Laguna şirketinin tecrübeli çalışanı Stan rolüyle yine beğeni kazandı. David Fincher'ın Zodiac filminden sonra Jose Saramago romanından uyarlanan Körlük (Blindness) filminde başrolü Julianne Moore ile paylaştı. 2010 yapımı Scorsese filmi Zindan Adası'nda (Shutter Island) Leonardo DiCaprio'nun yanındaki dedektif Chuck Aule karakterini canlandırdı. 2012'de çekilen Yenilmezler (The Avengers) filmiyle birlikte Bruce Banner/Hulk karakterini canlandırmaya başladı ve sonraki birçok Marvel filminde de aynı karaktere hayat verdi. 2013 yapımı Sihirbazlar Çetesi'nde (Now You See Me) ise 4 sihirbazı yakalamak için tüm gücüyle çalışan dedektif Dylan rolündeydi. Serinin 2016'da gelen 2. filminde de aynı roldeydi. 2015'te de Spotlight adlı En İyi Film Oscarı'nı kazanmış dram filminde gazeteci Michael Rezendes'i canlandırdı.

2000 yılında aktris Sunrise Coigney ile evlenen sanatçının Keen (d. 2001), Bella (d. 2005) ve Odette (d. 2007) adlarında 3 çocuğu bulunuyor.