1948年，华东野战军山东兵团有两次进攻兖州的行动。
事实上，1948年全年是解放战争最关键的一年，不仅标志着我军从战略防御逐步转向战略进攻，而且在重大战场上也逐渐开始被蒋介石指挥的国民党军队捉襟见肘，不得不拆东墙补西墙。
1947年8月华东野战军山东兵团分裂后，主要负责山东战场作战，由于范汉杰率领7个整编师集中推进，形势一度危急，整个胶东地区几乎失守，但随着蒋介石调调部分兵力支援中原战场， 山东军团面临的困境得到缓解，连续发动了几次战役，都取得了很大的成效，直到1948年夏天，国民党军队撤退到济南、青岛等城市做重点防御。
为了打通与山东西南部的联系，上级指示山东军团沿天浦铁路关键点从北向南逐步进攻，威胁徐州。 主力解放泰安等周边地区后，以部分军队楔入第2、第10绥靖区的交界处，包围兖州，伺机引诱徐州国民党军北上援军。
兖州守军为国民党军第10绥靖区整编第12师，师长霍守义，该部原隶属东北军第57军，1941年撤销第57军军号后，该部的两个师与临时的第55师改编为第9军， 直到1944年改组为第12军，因为蒋介石一直对非**军系采取压制态度，当时的东北军没有领袖，基本上大部分都被肢解了，只有少数原东北军后裔部队，还保留了制度。
第12军（改组后的第12师）是为数不多的，其实在1948年6月，山东军团围攻兖州后，霍守义确实感到惊慌失措，赶紧向绥靖区请求增援，但因为第一次兖州行动，主要是为了吸引徐州国民党军队的北方增援，所以在向徐州方向派出增援部队时， 山东军团第7纵队包围兖州立即撤退，配合友军派出增援部队。
鉴于国民党军队在兖州地区的空虚及其在天浦铁路上的特殊地位，山东军团决心拔掉兖州的钉子，以程军率领的第7纵队和周志坚的第13纵队，以及当地部队共45个团， 它负责进攻兖州。
兖州卫军第12师在之前的作战中损失惨重，实际上结构不完善，与兖州地区配合作战的地方保安团连合时，总共只有12个团大约8万人，当然最困难的地方不是在部队里，而是在兖州本身的高墙上，国民党军队驻扎在这里的时候，城墙修好了，一些显眼的地方是用花岗岩和水泥砌成的，第十绥靖区司令员李玉堂称兖州为“天下第一要塞”。
为了克服兖州城墙厚、攻占难的局面，山东兵团纵队决定采取单侧登陆的办法，以兖州城西为主要突破点，只留下少量兵力监视城北。 战斗一开始，双方顿时陷入了白热化之中，虽然整编第12师的整体战斗力不是最强的，但在不少杂牌上，还是算是精锐，我军打开的突破口被挡了好几次，更严重的是，吴华文率领的整编第96军从7月1日开始就赶往兖州援军。
为了加快速度，攻城部队被炮火掩护，多方突破城防，第十二师师长霍守义明知守不住，随师部紧急撤离，中途被俘8万余人，还顺便扩大了战果，解放了兖州周边地区，并实现了5个歼敌30,000人的光荣记录。