第74軍是1937年9月1日在浙江組建，由
王耀武第51師（轄周志道151旅、李天霞153旅 ）
俞濟時第58師（轄吳繼光174旅、邱維達172旅）
合編而成，俞濟時任軍長，馮聖法繼任第58師師長。全軍共8個團，2.1萬人。其中第58師炮兵營有6門105毫米榴彈炮，在當時可是相當具有威力的重炮了，曾在淞滬會戰中大顯神威。
俞濟時是黃埔1期畢業，浙江奉化人，蔣介石的外甥，是標準的嫡系，歷任蔣介石侍衛大隊排長、連長，侍衛大隊擴編爲警衛團後任營長、團長，後任第6師31團團長、南京國民政府警衛司令兼警衛1旅旅長，警衛1旅擴編爲第1師後任師長，後改任第58師師長，而74軍的骨幹就是58師。
74軍成軍不久就參加了淞滬會戰，51師在羅店，58師在蘊藻濱，都是戰線的關鍵之所 ，浴血奮戰，尤其是51師無論在陣地防禦還是在撤退中，均表現非常出色，當時有名的《 申報》和《大公報》都曾報導過51師的英勇作戰。
74軍從淞滬戰場撤出後，還來不及補充休整就投入南京保衛戰，在湖熟鎮、湯山鎮、 熟化鎮等地與日軍展開激戰，多次擊退日軍進攻，南京淪陷後51師奉命突圍，全師撤至浦口僅有4000人。
74軍經過補充先後參加徐州、蘭封會戰，在蘭封會戰中74軍重創日軍第2師團。
1938年7月德安戰役（又稱萬家嶺戰役）爆發，日軍苦戰兩個月進展甚緩，爲了儘快突破國軍德安防線，日軍第11軍軍長岡村甯次中將命令第106師團全力突破五台嶺一線，然後向德安西南迂回穿插，協同正面攻擊部隊圍殲德安一線約20個師的國軍。
9月25日，第106師團突破五台嶺，迅速向國軍防線縱深推進。
10月1日，106師團主力已進至萬家嶺一帶地區，但在白雲山遭到了國軍第4軍的頑強阻擊。第九戰區司令薛岳聞訊後立即果斷決定調集重兵圍殲孤軍深入的第106師團！這一作戰決心得到了蔣介石的支援。
10月2日，第九戰區調集12個師合擊萬家嶺地區之敵，國軍各部從各方向發起向心攻擊。日軍第106師團長淞浦淳六郎中將見形勢危急，而正面進攻部隊又無進展，便迅速放棄原定計劃全力突圍，突破口便選在了74軍58師防區，58師以極其頑強的防禦頂住了日軍113聯隊在 空軍支援下的多次猛攻，但是58師也付出巨大代價，全師經過兩天激戰，僅存500人！眼看陣地難保，58師師長馮聖法連連向軍長俞濟時求援，此時俞濟時手裏也沒有預備隊，他只留下了一個班警衛軍部，將軍警衛營投入戰鬥，這才確保了陣地，粉碎了日軍突圍的企圖
。
10月7日，國軍調整兵力，發起全線總攻。74軍作爲主攻部隊奉命攻擊日軍在萬家嶺地區的核心陣地張古山，第51師多次猛攻均未得手，後305團團長張靈甫獻計從山後偷襲，並親率突擊隊從山後偏僻小道襲占張古山。74軍攻佔張古山，爲突破日軍106師團防線立下頭功。
10月9日，薛岳 令各部組織敢死隊作最後決死攻擊，經過激戰國軍攻佔萬家嶺、雷鳴鼓兩處要地，當晚國軍第4軍的突擊部隊一度曾進至106師團指揮部僅百米處，淞浦組織師團指揮部所有人員準備迎戰，連自己都拿起了槍。由於第4軍沒有確切情報，又是夜間，才沒有發現日軍，使淞浦得以僥倖逃脫。此役國軍一舉收復九江以南失地，日軍第106師團幾乎被全殲，死傷逾萬，連師團長淞浦中將都險些被俘，戰果之輝煌足以與平型關和台兒莊媲美。萬家嶺之戰既無平型關八路軍奇襲之利，又無昆侖關國軍火力之優，全靠將士浴血苦戰，戰役中74軍守得住攻得上，居功至偉。戰役開始前，蔣介石曾兩次電令將74軍調至後方休整，都被薛岳拒絕，而74軍的表現確實沒讓薛岳失望。戰後著名作家田漢和任光曾以此戰和張靈甫爲原型編寫了話劇和74軍軍歌。
軍歌歌詞如下：
起來，弟兄們，是時候了。我們向日本強盜反攻。他，強佔我們國土，殘殺婦女兒童 。我們保衛過京滬，大戰過開封，南潯線，顯精忠，張古山，血染紅。我們是人民的武力 ，抗日的先鋒。人民的武力，抗日的先鋒！
1939年6月俞濟時升任第10集團軍副司令兼86軍軍長，51師師長王耀武升任軍長，74 軍下轄51師（李天霞）、57師（余程萬）和58師（廖齡奇）。日本人稱之為：『不好惹的「三五部隊」』。
王耀武，1903年出生，原字佐才後改字佐民，山東泰安人，黃埔3期，歷任排長、連長、營長、團長，在第四次圍剿戰中率部孤軍死守宜黃24天，受到蔣介石的接見，並升任第1補充旅旅長，1934年11月率部與紅軍北上先遣隊激戰，將其主力擊潰，紅19師師長尋淮洲陣亡，紅2師師長胡天陶被俘。後 任51師師長，在淞滬戰役中因指揮果敢得當而深受好評。
1941年3月，74軍參加上高會戰，上高位于江西錦江上游，俯瞰贛東平原。日軍佔領上高，既可相機拊長沙之背，又可得到進攻贛南的前進基地。日軍採取分進合擊戰術，兵分三路，企圖合圍國軍主力于高安、上高地區。但南北兩路進攻均被擊退，中路日軍孤軍深入，又遭到74軍堅強抵抗。
3月22日日軍集中萬餘兵力在數十架飛機掩護下猛攻74軍雲頭山、白茅山陣地，74軍與日軍反復爭奪，先後7次與日軍白刃肉搏，爲友軍贏得了集結的寶貴時間。因此中路日軍不得不於3月24日黃昏在北路第215聯隊掩護下開始突圍，但25日夜又被國軍將突圍與增援之敵再次包圍，終將其大部殲滅。在全線出擊中74軍又作爲先鋒，乘勝追擊，收復官橋，擊斃日軍日軍第34師團長岩永少將。整個上高會戰，日軍第33師團遭到重創，第34師團及獨立第20混成旅團傷亡更是高達70%以上，共斃傷日軍1.5萬，被何應欽譽爲 “開戰以來最精彩之作戰”。
此役74軍被第19集團軍司令羅卓英評價爲“戰鬥力量堅強”！ 74軍在戰役中“拼死力拒，雖血肉橫飛、傷亡慘重，仍不稍退，是日一日間敵我傷亡均在四千以上”，戰功顯赫，榮獲國民政府第一號武功狀和最高榮譽“飛虎旗”，被譽爲抗日鐵軍。74軍軍長王耀武和第153旅旅長張靈甫旅表現優異，受到表彰。
上高會戰之後，74軍作爲首批五個軍之一換裝蘇式裝備，總共有：
115毫米榴彈炮4門
76 毫米野炮8門
37毫米反坦克炮4門
7.62毫米M1910水冷式馬克西姆（即“俄國版的馬克辛 ”）重機槍25挺
7.62毫米M1910馬克西姆·托加萊和M1928德克恰廖夫（簡稱爲DP型，即常見的轉盤機槍）輕機槍70挺。
1941年9月，日軍發動第二次長沙會戰，目標之一就是尋殲國軍主力74軍。戰役開始 後74軍奉命開赴沙市街增援，結果被日軍情報機關偵悉，日軍立即提前發動攻擊，集中兩個師團夾擊74軍，74軍猝不及防與日軍激戰兩日，57、58師傷亡過半，遭到了巨大損失。儘管此戰74軍失利，但在與日軍遭遇之初，74軍在華春山一線仍頗有斬獲，並以淩厲攻勢一度迫使日軍第3師團後退，也顯示了中國王牌軍的威風。
1943年11月常德會戰中，74軍57師8000人堅守常德城16天，頑強抗擊了日軍陸、空、坦的協同攻擊，在日軍猛烈炮火甚至釋放毒氣情況下仍死戰不退，日軍不得不圍三闕一，放74軍一條生路，此時全師不足600人只有師長余程萬率180人突圍，其餘官兵自願與常德共存亡，與突入城內的日軍逐屋爭奪，全部壯烈殉國。6天後余程萬就隨反擊部隊又殺回常德，收復常德。此役正逢美、中、英開羅首腦會議，羅斯福總統聽取了蔣介石的戰況介紹，特意將余師長的名字記在備忘錄上。著名作家張恨水就根據常德之戰寫出一部名叫《虎賁英雄》的小說。常德人民爲紀念74軍爲國捐軀的犧牲將士，自發募捐，於1944年3月在市青年路東側修建占地達30000平方米的陣亡將士墓地，作爲永遠的紀念。
1944年1月軍長王耀武升任24集團軍司令，施中城接任軍長。下轄51師（周志道）、 57師（李琰）、58師（蔡仁傑）。
1945年5月，在雪峰山戰役中，74軍再次顯示出抗日鐵軍的雄風，給予日軍以重創，獲得兩面“飛虎旗”。
八年抗戰中，74軍幾乎參加了所有正面戰場上的重大戰役，尤其是在德安、上高、常德三次戰役中表現最爲突出，以其英勇頑強的戰鬥意志，被譽爲抗日鐵軍，連美軍顧問團曾有過“中國只有74軍能打”的讚譽。
1945年8月，日本投降，74軍空運南京受降，並擔任南京守備，因此被稱爲“御林軍”
1946年3月，74軍改編爲整編74師，全師3萬餘人，全副美械裝備，師長張靈甫兼任南京警備司令，下轄整編51旅（陳傳鈞）、57旅（陳噓雲）、58旅（盧醒）。駐紮在南京孝陵衛，拱衛首都，被譽爲天下第一師。
張靈甫，1903年出生，原名鍾麟，字靈甫，陝西西安人。履歷：
1923年考入北京大學，後投筆從戎入胡景翼國民二軍駐豫軍官訓練團。
1925年南下廣州考入黃埔軍校四期。
1926年升入黃埔四期步科，畢業後在嫡系第1師中歷任排長、連長、營長、團長。
1936年因槍殺妻子入獄。
1937年抗戰爆發後被釋放，官復原職，戴罪立功，任74軍51師153旅305團團長，在德安戰役中因獻計奇襲張古山而一舉成名，後任153旅旅長、58師副師長、師長、74軍副軍長。並經蔣介石特批，成爲陸軍大學將官甲級班裏唯一的少將。張靈甫在俞濟時、王耀武的大力舉薦下，得罪了競爭對手李天霞，對此李一直耿耿於懷，日後的孟良崮李見死不救，就是原因之一。
全師裝備計有：
12門105毫米榴彈炮（卡車牽引）
36門75毫米山炮（吉普車牽引）
108門105毫米迫擊炮（騾馬牽引）
108門81毫米迫擊炮（騾馬牽引）
108門37毫米戰防炮（吉普車牽引）
486門60毫米迫擊炮
255具火焰噴射器
324具M1“巴祖卡”火箭筒
324挺7.62毫米勃郎寧M1917水冷式重機槍
1080挺7.62毫米1918A2輕機槍
2400支9毫米美制M1湯姆森衝鋒槍和加拿大斯太令卡賓槍
4800支7.62毫米M1903A1春田步槍
軍官配9毫米勃郎寧M1911A1手槍。
無線電報話機配備到連，共有機動車約300輛、騾馬1000匹。
