Aplerbeckben született 1887. január 1-én. 1905-ben csatlakozott a haditengerészethez; az első világhá- borúban tengeralattjáró-parancsnok volt, többször hajtott végre kémkedési megbízatásokat is. Kétszer internálták, de mindkét esetben megszökött. A háború befejezésekor azon kevés német hadihajók egyikének parancsnoka volt, amelyek sértetlenül tértek vissza. 1919 nyarán Noske miniszter közvetlen munkatársa, a szabadcsapatok parancsnokának, Hermann Erhardnak a bizalmasa. Egy évvel később részt vett az úgynevezett Kapp-puccsban. Letartóz- tatták, de rövidesen szabadult; korvettkapitányi rangban a Berlin cirkálóra került. 1920 júliusától I. osztályú vezérkari tiszti minősítést kapott, 1922-1933 között részt vett a titkos német újrafegyverkezési programban; szervezési és hírszerzési feladatokat hajtott végre.

1924-1928 között a Birodalmi Védelmi Minisztérium tengerészeti főnökének stábjához tartozott. 1928 júniusában ismét hajóra vezényelték; egy évvel később fregattkapitányi rangban a Nordsee haditengerészeti támaszpont vezérkari főnökévé nevezték ki. 1935 januárjától az Abwehr (német kémelhárító és felderítő szolgálat) vezetője, mely szervezet 1938-ig a Birodalmi Hadügyminisztérium, majd onnantól közvetlenül az OKW (Oberkom- mando der Wehrmacht) irányítása alatt állt. Kinevezésekor ellentengernagy, 1938-tól altengernagy, majd 1940-ben előléptették tengernaggyá.

Hivatala kinevezéséig jelentéktelen volt, amit 1936-ra a világ egyik legeredményesebb és legnagyobb titkosszolgálatává fejlesztett. Az Abwehr emberei ott voltak minden földrész kikötőiben, jelentős hadi üzemeinek a környékén, kutató laboratóriumokban, s nemcsak az ellenséges országokban, hanem a szövetségesnek számító és semleges államokban is. A kémkedés területén fő riválisa egykori tengerész tanítványa, a Birodalmi Biztonsági Fő- hivatalt, az SD-t irányító Heydrich (majd Kaltenbrunner) lett. Komoly sikerként könyvel- hette el, hogy Hitler utasítására 1936. december 21-én aláírták azt az egyezményt, ami kötelezte az SD-t és a Gestapo-t, hogy működjenek együtt az Abwehrrel.

Szerepe és magatartása a II. világháborúban ellentmondásos: amikor tudomást szerzett a Gestapo és az SS által elkövetett bűnökről, fokozatosan szembefordult a nácikkal; de hazája iránti hűségére hivatkozva visszautasította az aktív fellépést a náci rezsim ellen. A sztálingrádi vereség után már kereste a nyugati szövetségesekkel a kapcsolatot egy bé- kekötés céljából, főleg Svájcon, Portugálián és Törökországon keresztül; a Szovjetunióval való békét viszont elképzelhetetlennek tartotta.

Ugyanakkor 1943/44-ben az Abwehr egyre több akciója fulladt csúfos kudarcba, az angol kapcsolataira utaló közvetett bizonyítékok és ellenlábasainak akciói végül odavezetett, hogy 1944 februárjában Hitler aláírta az egyesített Német Titkos Hírszerző Szolgálat fel- állításáról szóló parancsot, és a szolgálat vezetőjének Himmlert nevezte ki. Canaris helyét pedig Schellenberg vette át.

Az admirális befolyását és hivatalát ugyan elvesztette, de nem tartóztatták le, 1944. július 1-től az OKW kereskedelmi és gazdasági hadviseléssel foglalkozó csoportjának főnökévé nevezték ki.  A Hitler elleni 1944. július 20-i sikertelen merénylet után – mivel támogatta a katonai ellenállási mozgalmat, s bár tevékenységében nem vett részt, de fedezte annak tagjait – július 23-án személyesen Schellenberg tartóztatta le. A kihallgatások után előbb Nürnbergbe, majd a Flossenbürg melletti koncentrációs táborba hurcolták.

A háború utolsó napjaiban, 1945. április 8-án egy SS bíróság halálra ítélte, majd másnap reggel – többek között Dietrich Bonhoeffer evangélikus lelkésszel együtt – kivégezték.