Karel Heřmánek se narodil v Praze. Vystudoval stavební průmyslovku a uvažoval o architektuře. Pak ho zaujala filmová režie, ale protože dostat se na FAMU bylo těžké, zkusil to na herce. Nakonec jej přijali na brněnskou JAMU, kde se sešel ve výrazném ročníku s Jiřím Bartoškou, Pavlem Zedníčkem a Janou Švandovou. 

S divadlem začal v brněnském Divadle Na provázku, po roce přesídlil do Činoherního studia v Ústí nad Labem. V roce 1976 se Heřmánek vrátil do Prahy a do roku 1990 hrál v Divadle Na zábradlí. Když se scéna rozpadla, založil jedno z prvních soukromých divadel v Česku - Divadlo Bez zábradlí.

Před kamerou debutoval v roce 1972 v televizním filmu Uprostřed babího léta ve stepi zahoukal vlak. Ve filmech se více začal objevovat na konci 70. let, například ve snímcích Na pytlácké stezce, Žena pro tři muže, Smrt stopařek. Zahrál si také v rodinné komedii Krakonoš a lyžníci nebo v dramatu Hadí jed. Na MFF v Portugalsku získal cenu za mužský herecký výkon ve filmu Dobré světlo z roku 1985 v režii Karla Kachyni.

V úspěšné pohádce Hynka Bočana S čerty nejsou žerty (1984) ztvárnil Jeho nejtemnější temnost Lucifera, zahrál si i v oscarovém snímku Kolja (1996) či v televizním seriálu Zdivočelá země (1997). Hrál například i v pěti volně navazujících komediích Hynka Bočana z 80. let (Šéfe, to je věc!, Šéfe, vrať se!, Šéfe, jdeme na to!, Na dvoře je kůň, šéfe!, V tomhle zámku straší, šéfe!) či v Kachyňově komedii Kam, pánové, kam jdete? Po delší odmlce se na filmovém plátně objevil v komedii Příběhy obyčejného šílenství z roku 2005, zatím naposledy pak ve snímku Lovci a oběti (2015), kde si zahrál i se svým synem.

Karel Heřmánek je znám i z dabingu, jeho hlasem mluví třeba Doyle (Martin Shaw) z britského seriálu Profesionálové. A v dabingovém studiu se seznámil i se svou druhou ženou Hanou, která se na něj údajně chodila dívat už do Divadla Na zábradlí a která se stala známou hlasatelkou a moderátorkou. Měli spolu tři syny, z prvního manželství má Heřmánek ještě dvě dcery.