Würzburgban született 1884-ben, apja Maximilian Halder tábornok. Mivel felmenői már a 17. század óta a bajor hadseregben szolgáltak, nem meglepő, hogy 1902-ben ő is belépett az ambergi 3. bajor királyi tábori tüzérezredbe, amelynek parancsnoka abban az időben apja volt. 1904-ben Münchenben elvégezte a hadiakadémiát, és előléptették hadnagy- gyá. 1906-1907 között tüzérségi akadémiát, 1911 és 1914 között pedig a vezérkari akadémiát végezte el, utóbbit évfolyamelsőként.

Az I. világháború kezdetén tüzérségi tisztként szol- gált. 1915-ben kinevezték a 6. bajor hadtest vezérkari főnökévé, majd előléptették századossá és áthelyez- ték a 6. hadsereg vezérkarához. 1917-ben előbb a 2. hadsereg, majd a 4. hadsereg vezérkarában szolgált. A háború alatt számos kitüntetést kapott.

A világháború után Halder a weimari köztársaság védelmi minisztériumában került, mint a taktikai kiképzésért felelős tiszt. 1922-ben őrnaggyá, 1931-ben ezredessé, 1934-ben ve- zérőrnaggyá léptették elő. 1935 októberében kinevezték a müncheni 7. lövészhadosztály parancsnokává, majd 1936. augusztus 2-án előléptették altábornaggyá.

1938 elején kinevezték a tüzércsapatok főparancsnokává. Ugyanezen év augusztusában lemondott tisztségéről Ludwig Beck tábornok, a hadsereg vezérkari főnöke, aki ellenezte Hitler háborús terveit (mert azokat korainak találta). Hitler ekkor augusztus 27-én Haldert nevezte ki a szárazföldi haderők főparancsnokságának (OKH) vezérkari főnökévé; részt vett a világháború első éveiben folytatott német hadjáratok terveinek kidolgozásában és végrehajtásában. A lengyel hadjárat sikeres befejezése miatt Hitler 1939. október 27-én a Vaskereszt Lovagkeresztjével tüntette ki.

A lengyel hadjárat után nem sokkal Hitler utasítást adott a Franciaország elleni hadjárat terveinek kidolgozására. A Halder irányítása alatt kidolgozott tervek egy, a szövetséges erők elleni támadást vázoltak fel Belgiumon keresztül. A terv kevés sikerrel és jelentős veszteségekkel kecsegtetett, ezért azt Erich von Manstein elképzelései alapján módosí- tották és gyors páncélos támadásokkal tervezték áttörni a francia védelmi vonalakat Sedan térségében. A terv sikerrel járt, a május 10-én meginduló német támadás május végére a francia és brit haderő katasztrofális vereségét hozta.

Mint azt naplójában lejegyezte, a hadsereg vezérkara 1940. június 25-én már megkezdte egy, a Szovjetunió elleni támadás terveinek kidolgozását; az "Otto" fedőnevű tervek alap- ján kezdték meg Kelet-Európában a közúti és vasúti hálózat fejlesztését, hogy lehetővé tegyék a hadjárathoz a felvonulást. A tervezés során Halder azzal számolt, hogy 80-100 német hadosztály egy 4-6 hetes villámháborúban vereséget mér a Vörös Hadseregre és német ellenőrzés alá vonja a Baltikumot, Ukrajnát és északon a Finnországgal határos területeket. December 5-én Halder megmutatta a tervek első változatát Hitlernek, aki 1940. december 18-án kiadta 21. számú hadműveleti utasítását a Wehrmacht legfelsőbb parancsnoksága számára a Fall Barbarossa fedőnevű hadművelet megtervezésére.

A Moszkva alatti vereség után 1941 decemberében Hitler leváltotta von Brauchitsch tá- bornokot a hadsereg éléről és átvette a főparancsnokságot. Ez Haldernek nem tetszett, de mégis megtartotta posztját. 1942 nyarára azonban egyre többször került ellentétbe a Führerrel, aki szeptember 29-én menesztette; nyugállományba helyezték és már nem is kapott aktív katonai megbízatást a háború végéig. Utóda Kurt Zeitzler lett.

Az 1944. július 20-án a Hitler elleni sikertelen merénylet után feleségével és legidősebb lányával együtt letartóztatták és a flossenbürgi internálótáborban tartották fogva, 1945. január 31-én pedig hivatalosan is elbocsátották a hadseregtől. A háború vége előtt nem sokkal a dachaui koncentrációs táborba szállították át, majd a háború utolsó napjaiban számos, a nácik számára értékes foglyot, köztük Haldert, Léon Blum francia miniszter- elnököt és Kurt von Schuschnigg osztrák kancellárt Dachauból Dél-Tirolba szállították át. A csoportot a szövetséges csapatok 1945 májusában szabadították ki. A következő két évet hadifogolytáborban töltötte.

A német főparancsnokság többi tagjával ellentétben Nürnbergben nem került háborús bűnösként  a vádlottak padjára. 1947 és 1961 között az amerikai hadseregnek dolgozott. Vezérkari főnökként vezetett hadinaplója pedig fontos forrásdokumentum a Harmadik Birodalom legmagasabb szintjein zajló mindennapi életről. 1972. április 2-án halt meg a nyugat-németországi Aschau im Chiemgauban.