23 Nisan 1973'te İstanbul'da doğan Cem Yılmaz, ilköğretimin ardından Etiler Anadolu Otelcilik ve Turizm Meslek Lisesi'ni tamamladı ve Boğaziçi Üniversitesi'nde Turizm ve Otel Yönetimi bölümünü bitirdi. Kariyerine mizah dergisi Leman'da çizer olarak başlayan, çizerliğin sonrasında BKM'de sahne almaya başladı. Komedyenlik alanında büyük bir üne kavuşan Yılmaz, günümüze dek 4000'in üzerinde stand-up şovu için sahneye çıktı.

Cem Yılmaz'ın beyazperde kariyeri 1998 yapımı Ömer Vargı imzalı Her Şey Çok Güzel Olacak filmiyle başladı. Senenin en ilgi çeken yapıtlarından biri olan bu filmde Mazhar Alanson ile birlikte başrolleri paylaştı. Bu filmi 2000 yapımı Vizontele izledi. 

Cem Yılmaz'ın beyazperdedeki ilk önemli atılımı 2004 yapımı, senaryosunu yazıp başrolünde yer aldığı G.O.R.A. filmiyle gerçekleşti. Ünlü komedyenin Ömer Faruk Sorak ile yapacağı işbirliklerinin ilki olan G.O.R.A. tüm zamanların en ses getiren yapıtlarından birine dönüşürken Yılmaz'ın kariyerinin devamı için de önemli bir basamak görevini gördü. 

G.O.R.A.'nın ardından A.R.O.G.'un da senaryosunu yazıp başrolünde yer alan Yılmaz, aynı zamanda Ali Taner Baltacı ile birlikte filmin yönetmenliğini de üstlendi. 2006'da Hokkabaz filmiyle bu kez draması daha baskın bir yapıtla izleyicisini selamladı. Filmin başrolü ve senaryosunun yanı sıra ikinci kez Ali Taner Baltacı ile birlikte yönetmen koltuğuna oturdu. 2009 yılında yapımı gerçekleşen Yahşi Batı'nın yine senaristliğini ve başrolünü üstlenirken yönetmen olarak bir kez daha Ömer Faruk Sorak ile çalıştı.

Cem Yılmaz yaratıcı ekibinde yer aldığı bu filmlerin yanı sıra farklı filmlerde de oyuncu olarak izleyici karşısına çıktı. Bunlar arasında Organize İşler, Av Mevsimi, Şahane Misafir, İftarlık Gazoz ve Son Umut gibi önemli projeler bulunuyor. Ayrıca CM101MMXI FUNDAMENTALS şovunu beyazperdede izleyiciyle buluşturarak bir ilke imza atan Yılmaz, yazıp yönettiği ve başrolünde yer aldığı Pek Yakında filmiyle beyazperdeye geri döndü.