Michael Wittmann hivatásos katona volt. 1934-ben, húszévesen kezdte meg a szolgálatot a német hadseregben, mint gyalogos. 1937-ben átvezényelték az SS Leibstandarte Adolf Hitler hadosztályhoz. 1939-ben, a háború kezdetekor SS Unterscharführer-i rangban egy páncélozott felderítő jármű parancsnoka volt. Az 1941-es balkáni hadjárat idejére áthelyezték egy önjáró lövegekkel felfegyverzett csapattesthez, amely a Barbarossa hadművelet idejére Oroszország délnyugati határán vonult fel, a későbbiekben pedig Dél-Oroszországban harcolt.