Rodil se je v Berlinu kot sin dirigenta Ericha Kleiberja. Glasbeno se je začel izobraževati v Argentini, kamor je njegova družina leta 1935 zaradi nacizma emigrirala. Kasneje je študiral v Zürichu, ter postal dirigent tamkajšnje opere med letoma 1964 in 1966.

V Veliki Britaniji je prvič nastopil leta 1966 na Edinburškem festivalu z opero Wozzeck Albana Berga, predstavo, ki jo je na svoji premieri leta 1925 dirigiral njegov oče. V ZDA je debitiral z Verdijevim Otelom.

Po začetkih svoje glasbene kariere v Münchnu (korepetitor) in Potsdamu je v naslednjih desetletjih svoje glasbene kariere največ nastopal v Deutsche Oper am Rhein v Düsseldorfu (med 1958 in 1964) in Duisburgu, v Operi v Zürichu (med 1964 in 1966) in Stuttgartu (med 1966 in 1973), kjer je bila njegova zadnja služba. V Düsseldorfu je dirigiral La Bohème, Madame Butterfly, Traviato, Dva Foscarija, Rigoletta, Veselo vdovo, Kavalirja z rožo idr. ter številne balete. Zürich je Kleiberju dal nove sijajne priložnosti za razširitev opernega in baletnega repertoarja, potem pa so prišli predstavniki teatra Württemberg iz Stuttgarta s tamkajšnjo pogodbo brez vsakršnih omejitev in pogojev o angažmaju in ga odpeljali. Tudi Stuttgart je dal Kleiberju nekaj odličnih možnosti. Med ostalimi opernimi ansambli, s katerimi je Carlos Kleiber deloval, naj omenimo še dunajsko Volksoper, Dresden in salzburško Deželno gledališče...

S koncerti je gostoval po vsem svetu, tudi leta 1988 v Metropolitanski operi v New Yorku (Traviata). Po Karajanovi smrti so mu ponudili vodstvo Berlinskih filharmonikov, a je odklonil.

Posnel je le malo skladb, a skoraj vse, ki jih je posnel, veljajo za odlične. Njegovi izvedbi Beethovnove pete in sedme simfonije z Dunajskim filharmoničnim orkestrom veljata za legendarni.

Dvakrat je dirigiral v Ljubljani

• 17. novembra 1981 Simfonikom RTV Slovenija v dvorani Slovenske Filharmonije in

• 6. junija 1997 Slovenski filharmoniji v Gallusovi dvorani Cankarjevega doma.

V vasici Konjšica je spominska soba, kjer je predstavljen življenjepis, poklicno delo in delček zasebnega življenja dirigenta.