1944年,隨著同盟國軍隊在世界反法西斯各戰場的連續反攻,日軍參謀總部意識到從東南亞到日本本土的海上交通線遲早會被切斷。因此,從東南亞的馬來亞經中國到北韓釜山的大陸交通線將成為最後東亞大陸作戰的生命線,但這條生命線在中國的河南、湖南、江西和廣西等地還為中國軍隊所控制。為此,1944年2月,日軍參謀總部向中國派遣軍下達了代號為"一號作戰”的命令。這一戰役,中國抗戰史稱為豫湘桂大會戰。
衡陽是豫湘桂大會戰的第二階段,長衡會戰的主戰場。中國守軍是國軍第十軍,下轄第3師、第190師、預備第十師,實際兵力是七個團,加上配屬的暫編54師1個團,總兵力為8個團,1.7萬人。進攻的日軍先後共投入的是橫山勇的11軍的四個師團,68師團、116師團、58師團、13師團,約九萬人,空軍有第五航空軍全力配合。
衡陽城守將方先覺,國民革命軍第十軍中將軍長,1903年出生於安微宿縣,畢業於黃浦軍校第三期,先後任國民革命軍排長、連長、營副、團副、團長、副師長、師長、代理軍長。衡陽之戰前任第十軍軍長。
當時,軍委會對第十軍下達的作戰命令是堅守衡陽城10至15天。
1944年6月23日拂曉,日軍笫68、116師團撲向衡陽,中國抗戰史上最悲壯、最慘烈衡陽大戰的序幕正式揭開。雙方激戰至6月27日,日軍在付出巨大傷亡後,攻佔了衡陽週邊陣地,陣地上的中國守軍連伙伕在內,無一人逃跑、投降,全部戰死。
6月28日,日軍調上了預備隊,對衡陽發起了第一次總攻,在飛機、重炮的掩護下,日軍如潮水般一波一波發起衝鋒,並對中國守年施放了毒氣。雙方展開激烈的攻防拉鋸戰,至7月2日,經5晝夜幾乎連續的搏殺,日軍停止了進攻,中國守軍挫敗了日軍的第一次總攻。7月3日至10日,日軍忙於補充兵力、彈藥,戰況稍緩。
7月11日,得到了野炮四個大隊、迫擊炮二個大隊的增援的日軍攻城部隊開始了對衡陽的第二次總攻,慘烈的攻防戰又開始了。7月13日,中國守軍擊斃日軍120聯隊聯隊長和爾大佐,經過連續9晝夜的血戰,日軍68、116師團以傷亡8000人、陣亡聯隊長1名、大隊長6名、幾乎所有的中隊長的代價,只攻佔了衡陽防線的一線陣地,日軍的第二次總攻又遭慘敗。中國守軍也傷亡4000餘人,失守的陣地都打到最後一人。在日軍著手準備第三次總攻期間,城內外大小戰鬥並未停止,軍委會在7月12日嚴令79軍、62軍火速增援衡陽,20日己打到衡陽效外,不料日軍正好在此時停止對衡陽的總攻,轉而全力阻擊並反擊中國援軍,79軍、62軍被迫後撤。
衡陽久攻不下,驚動了日本天皇和日軍大本營,在日本中國派遣軍嚴厲斥責下,橫山勇又調派了58師團、13師團二個主力師團,增援68、116師團。這時守城的中國第十軍的有生力量己經基本消耗殆盡,輕傷員、馬伕、伙伕統統上了火線。8月4日淩晨,日軍合四個師團之力對衡陽進行了第三次總攻,最後的血戰到來了,激戰至8月5日,第十軍傷員已過8000人。部下向軍長方先覺提出了突圍的建議,方拒絕了,說”我們突圍出去了,剩下這8000傷兵怎麼辦,你們忍心丟下他們讓日本鬼子屠殺,死,我們死在一塊,要自殺,我先動手”。8月7日,衡陽中國守軍第十軍與下屬各部的通迅聯絡電話線都被日軍飛機、重炮炸斷,已無法組織有效的抵抗,各部處於各自為戰狀態,衡陽的陷落己是時間問題了。8月8日,方先覺向軍委會發出了”……來生再見”的最後一電,然後拔槍自戕,一旁的副官眼明手快,將手槍擊落,槍響未擊中。這時,第三師師長周慶祥進來報告說”軍長,我已以你名義下令挂白旗了”方先覺對援軍遲遲不到,讓第十軍孤軍血戰,已心存不滿,經反復考慮說”那只有這樣了,不是我們對不起國家,是國家對不起我們。不是我們不要國家,是國家不要我們。”命參謀長起草了投降條件:1.保證官兵生命安全2.收容治療傷兵,鄭重埋葬陣亡官兵3.第十軍保留建制,不出衡陽,就地駐防。