在孟良谷战役中，被誉为头号主力的国民革命军第七十四师被华东野战军全歼，给当时的国民党军队造成了极大的震动。 当时国民党内不少将领虽然对张灵甫不信服，但又不敢小看这支军队，这支军队在抗日战争期间非常忌惮日军，抗日战争胜利后，为了震慑日军，蒋介石利用美机将第74军运送到南京， 所以这支军队也叫蒋介石的御林军。
重组后的第74师团的灭亡和张灵甫的死，对蒋介石来说是一个很大的打击，他原本以为解放军在几个月内就会被歼灭，但他不仅没有消灭他们，反而埋葬了自己的头号将领和最精锐的部队，这让他很不甘心。 因此，在改组后的第74师团垮台后，蒋介石立即命令第74军第二师长、第74军第一主力王耀武整编第74师团，确保这支军再次成为主力，以提振当时国民党军队的士气。
事实上，在孟良谷战役中，当时有3个新兵团的改编74师在后方受训，没有参加战斗，王耀武在这三个新兵训练团和一个榴弹炮营的基础上组建了第51旅，山东守备第二旅改编为第57旅， 广东航空守备旅改编为第58旅。为了提高这支军队的士气，在孟良谷战役中逃回的国民党军队的伤兵也包括在内。
新成立的整编第74师师长是邱伟达中将，邱伟达和张灵甫都是王耀武的老部下，都是淞湖战役中王耀武手下的团长。 张灵甫和邱维达都有黄埔四期，彼此非常熟悉，所以任命邱维达为整编后的第74师师长是合适的。 1948年1月，改组后的第74师正式并入国防部作战序列，形成战斗力。 第58旅驻扎在安徽阜阳，其余部队驻扎在安徽孟城。
1948年3月，中原野战军刚从大别山出来，重兵全部损失殆尽，各纵队兵力不足，士气十分低落。 为了鼓舞士气，他们决定大举取胜，于是把目标对准了驻扎在安徽阜阳的整编74师第58旅。 第58旅有9000多人，装备齐全，装备美军武器装备齐全，旅长是黄埔六期毕业的王梦庚少将。 第58旅团得知中野要来围攻他，还是很兴奋，还打了一声耻辱的口号。
为了打赢这场战斗，中野出动了第一、第二、第三、第六、第十一纵队，还把宋世伦的华业十纵队调到增援部队。 在这场战斗中，杨勇的第一纵队、王炳章的第十一纵队和战斗力强的三个团，都是从张国华旅中抽调的，由金少山指挥; 以上三个师共计5万多名官兵负责对阜阳的主攻，杨勇为攻城总司令。
杨勇对阜阳的进攻一开始并不是很顺利，攻城遇到的最大问题就是争夺城关文峰楼和奎星楼两大制高点。 经过30日、31日两天两夜的血战，戴润生第2旅终于在4月1日清晨占领了文峰塔; 而对隗星楼的进攻，直到最后的败退，都没有成功。 第74师团第58旅团虽然刚刚组建，但拥有老第74师团的战斗力，各团团长甚至组成了敢死队，向中野的各支部队发起进攻。
由于缺乏重兵支援，中野各部都非常庞大，第58旅团和第222团蔡一亚甚至率领一个营攻击中野第一纵队第2旅团和第20旅团的交界处，导致这两个旅团损失惨重， 而杨勇只好调动第一大队继续进攻，但依旧没有实质性进展。第11纵队的进攻也非常困难，主攻团全军覆没，没有命中。
双方激战六天后，邱维达率领重组后的第74师主力增援，国民党其余部队也赶紧围攻中掖。 无奈之下，中野只能分兵突围，张国华和金少山继续在淮西与游击队作战; 王炳章的第11纵队返回鲁西南，中掺剩下的4个纵队有8万多人与陈庚在河南西部的司令部会合。 两军相遇时，当时中野的四纵队只剩下七万人，陈庚的指挥部也是七万人。