解放战争期间，三大战役的胜利基本结束了国民党的统治，我军也占据优势，开始全面领先于国民党，解放全中国只是时间问题。而淮海战役是三大战役中解放军牺牲最多、歼敌最多、政治影响最大、战争样式最复杂的战役。辽沈战役是我军第一次在兵力、后勤、甚至武器装备全面反超国民党军而发动的一次大决战，林彪打仗小心谨慎，有九层的把握才动手，打赢辽沈战役基本悬念不大。平津战役是林彪提前率领百万大军入关作战，这一仗我军全面碾压国民党军，直接逼迫了傅作义率部投降。
淮海战役则不一样，这场大决战是真正意义上的决战，在一定程度上来说，国共两党都输不起，蒋介石集中了几乎所有的精锐嫡系去拼，如果国民党战败了，则会输掉全部长江以北的地区，精锐尽失，再无力抵挡住解放军的攻势。而我军则集结了全部华野和中野的兵力，如果输了，华野和中野将失，失去中原的领土，而国民党精锐则会北上支援平津的傅作义，平津战役的胜负就两说了。
淮海战役，国民党占尽优势，我军则处于劣势，国民党80万精锐，而我军只有60万人。华野有很多的俘虏和刚刚放下锄头的新兵，而中野实力更弱，刚刚经历大别山的“小长征”，实力大损，部队到达大别山时仅6万余人，中野全部的重炮不如林彪一个纵队的多，而中野一个纵队的人数则不如林彪一个主力师的人数。反观国民党军，大部都是嫡系精锐，清一色的美式装备，机械化程度很高，运兵运粮运输武器弹药全部都是汽车。
淮海战役分为三个阶段，第一阶段尤为重要，主要是歼灭黄百韬兵团，黄百韬兵团如被歼灭，徐州一臂就被剪断，徐州门户大开，我军就赢得战场的主动权。国民党淮海战役的总指挥刘峙曾在回忆录上说：“所谓黄兵团的覆没，就已决定了徐蚌会战的胜负”。
可以说淮海战役第一阶段围歼黄百韬兵团十分重要，但在战役发起前我军却犯了一个错误，导致粟裕越打越紧张。虽然是华野和中野联合作战，最高指挥官是刘伯承、陈毅、邓小平等，但是真正的军事主官却是粟裕。
1948年11月11日，华野大军完成了对黄百韬兵团的包围，将黄百韬兵团包围在了碾庄，随即华野五个纵队向碾庄阵地发起了攻击，但战斗一打响，激战了一夜却毫无进展。连续进攻了三天，进度不大，只夺取了敌几个村庄，但部队却伤亡惨重。粟裕下令停止了进攻，因为此前犯了一个错误了，一交手才发觉黄百韬兵团不简单，错误的低估了黄百韬兵团的战斗力。这个兵团共有10余万人，清一色的美式装备，机械化程度很高，部队火力猛，单兵作战素质高，一个个抱着必死的心态作战。黄百韬既不是黄埔嫡系，也不是江浙人，而蒋介石给他的总统府通行证编号却是17号，还排名在好些嫡系将领的前面，这让黄百韬深感知遇之恩，每一仗都抱着拼命的态度作战。
粟裕碰到了钉子，14日晚，赶紧重新制定作战方案，使用近迫交战的打法，先打弱敌，乱其部署。战术改变之后马上就取得一些见效，但顾祝同派遣了飞机轰炸，前沿一片火海，我军的攻势又被遏制住了。
18日，粟裕第一次动用了他的坦克部队（缴获日本人的），由于敌怎么也想不到我军会有坦克，还以为是邱清泉的援军到了，一个个跑出前沿阵地欢呼，待坦克逼近时，一条条火龙喷射而出，敌如收割麦子一般一排排倒下 ，坦克后面的攻击大军迅速跟进。战至中午，我军将敌44军和100全歼。
19日晚，粟裕组织了4个纵队向黄百韬兵团部所在的碾庄发起了总攻，粟裕调集了华野所有的重炮，几十万吨炮弹全部打光，炮火覆盖敌阵地足足30分钟。20日凌晨5时30分，华野经过激烈的拼杀，终于夺取了碾庄阵地，但黄百韬率领残部撤到碾庄东西两面继续负隅顽抗。
21日，谭震林率领另一个攻击集团对黄百韬残敌发起了总攻，战至22日，残敌基本被剿清，黄百韬见大势已去，在绝望中自杀毙命。
大胜传来，粟裕听闻黄百韬已经自杀毙命，一下子瘫软，晕死了过去。这件事情迅速传开，战士们都说：“粟司令听闻敌将黄百韬自杀毙命，高兴得一下子晕了过去！”
而事实上，这一战打得很苦很激烈，虽然歼灭了黄百韬10万大军，但华野也付出了6万多伤亡的代价，要知道整个淮海战役歼灭国民党军55.5万，大败国民党80万大军，一共也仅仅伤亡13.4万人，此战占了整个淮海战役一半的伤亡。主攻纵队的伤亡都在2000人以上，而有的纵队伤亡竟然达到了5000以上。
粟裕后来对其妻子说，整个淮海战功他只紧张过两次，围歼黄百韬兵团就是其中一次。
粟裕说：“上至中央军委，包括毛主席，下至我们，开始都对黄百韬兵团的战斗力估计不足啊!后来我们碰了钉子，可不敢向主席叫苦，只有豁出命来打。主席天天来电催问战况，部队打得很苦啊，我心里很急……”
这次决战关乎到新中国解放的大局，而围歼黄百韬兵团受挫折后，毛主席和中央军委、刘邓和陈毅等首长天天来电催问战况，下面纵队又打得很艰苦，粟裕经常守着电话不眠不休，神经又一直紧绷着。听闻黄百韬自杀毙命，黄兵团被彻底歼灭，淮海战役的胜负差不多定了，粟裕紧绷着的神经突然松懈，又较长时间没有休息了，所以一下子就瘫软晕死过去。