1882. október 30-án született Poznanban, porosz tiszti családban. Apját követve katonai pályára lépett; 1901. március 22-én került az alsó-szász országi 46. tüzérezredhez. A hadiakadémia befejezése után, 1910-től a német vezérkarhoz tartozott. 1914-ben százados; az I. világháborúban főleg törzseknél szolgál, majd 1919-től a Reichswehrben, illetve a Wehrmachtban. 1933-ban vezérőrnagy, 1934-ban altábornagy. Átlag fölötti képességeivel gyorsan halad előre a ranglétrán; 1936-ban már tüzérségi tábornok, 1938. december 1-től a 6. hadseregcso- port főparancsnoka Hannoverben. Ennek törzséből jött létre a háború kezdetén a 4. hadsereg, amelyet von Kluge vezérezredesi rangban a lengyel, a francia és a Szovjetunió elleni háborúban vezet. 1940. július 19-én több társával együtt megkapja a marsallbotot.