1882. október 30-án született Poznanban, porosz tiszti családban. Apját követve katonai pályára lépett; 1901. március 22-én került az alsó-szász országi 46. tüzérezredhez. A hadiakadémia befejezése után, 1910-től a német vezérkarhoz tartozott. 1914-ben százados; az I. világháborúban főleg törzseknél szolgál, majd 1919-től a Reichswehrben, illetve a Wehrmachtban. 1933-ban vezérőrnagy, 1934-ban altábornagy. Átlag fölötti képességeivel gyorsan halad előre a ranglétrán; 1936-ban már tüzérségi tábornok, 1938. december 1-től a 6. hadseregcso- port főparancsnoka Hannoverben. Ennek törzséből jött létre a háború kezdetén a 4. hadsereg, amelyet von Kluge vezérezredesi rangban a lengyel, a francia és a Szovjetunió elleni háborúban vezet. 1940. július 19-én több társával együtt megkapja a marsallbotot.
Von Bock vezértábornagy felmentése után Kluge került a Közép hadseregcsoport élére. Ezt a beosztást 1943. október 12-ig látja el, amikor súlyos autóbalesetet szenved, és hosszabb orvosi kezelésre szorul. Felépülése után, 1944. július 7-én ő lesz von Rundstedt tábornagy utódjaként a Franciaországban a nyugati főparancsnok, a D hadseregcsoport főparancsnoka; Rommel tábornagy július 17-i súlyos sebesülése után ő vezeti az addig neki alárendelt B hadseregcsoportot is.
A Dél hadseregcsoport törzsének első vezérkari tisztje, von Tresckow ezredes már Bock idejében maga köré gyűjtötte a Hitlerrel szembefordulni kész tiszteket. Von Kluge ugyan elfogadta Hitlertől a 60. születésnapjára kapott jelentős ajándékot, de egyre jobban kételkedett Hitler vezetési képességeiben és egyre inkább felismerte a hadvezetésből származó veszélyt. Tartotta ugyan az összeesküvőkkel, a polgári vonalat vezető Carl Friedrich Goerdelerrel a kapcsolatot, de a Hitler elleni fellépésre nem volt hajlandó azzal az indoklással, hogy sem a csapat, sem a nyilvánosság nem mutatna megértést Hitler merénylői iránt.
Franciaországba kerülése után az ellenállás vezetői lehetséges szövetségesükként tartották számon, aki „egyre inkább és inkább kész volt a felforgató tervek mérlegelésére". Amikor azonban július 20-án a Hitler elleni rastenburgi merénylet estéjén az arcvonalban tett látogatásáról visszatérve értesült arról, hogy Hitler életben maradt, nem hagyta jóvá az összeesküvők Párizsban tett intézkedéseit, és nem volt hajlandó a felkelés élére állni nyugaton. Az intézkedéseket erre visszavonták, de a Gestapo egyre több gyanúokot talált Kluge ellen. Augusztus 17-én felmentették beosztásából; utóda Model tábornagy lett.
Felmentési irata szerint jelentenie kellett, hogy „Németország mely vidékére akar menni". Úton Németországba méreggel öngyilkosságot* követett el. A szövetségesek által el- kobzott német levéltárakból előkerült az a levél, amit von Kluge halála előtt Hitlernek írt: „Amikor Ön megkapja ezt a levelet, én már nem leszek. Nem tudom többé elviselni a szemre- hányást, hogy hibás hadvezetésemmel én pecsételtem meg a nyugat sorsát, és minden esz- közöm hiányzik, hogy megvédjem magam. Levonom a következtetést, és oda megyek, ahol a bajtársak ezrei már vannak... Vezérem, határozza el magát a háború befejezésére. A német nép olyan kimondhatatlan megpróbáltatásokat szenved el, hogy itt az idő véget vetni ennek a szörnyűségnek."
*A hivatalos verzióval szemben, miszerint Kluge öngyilkos lett, Kazimierz Moczarski lengyel író azt állítja könyvében (Beszélgetések a hóhérral. Bp. : Európa, 1981.), hogy Klugét Jürgen Stroop SS-tábornok utasítására kivégezték.