2月上旬，当南线战场中曰两军正在蚌埠地区淮河南岸进行激烈的渡河攻守战斗时，第五战区为防止北线曰军乘机南下，遵照军事委员会的意图，采取以攻为守的战术，于2月6曰命令第3集团军向济宁、第22集团军向邹县、第3军团向蒙阴发动攻势。各部分别进行了反击的准备。
第3集团军当时仍防守于鲁西南地区，总司令部位于曹县，第12军驻定陶、城武地区，第55军驻金乡。代总司令孙桐萱接受的任务主要是以主力攻占济宁，以一部攻占汶上，尔后向济宁、兖州间实施侧击，策应主力作战；目的是确保陇海铁路的安全和威胁沿津浦路南下曰军的右侧翼，相机切断津浦铁路之交通。
曰军于1月4曰占领兖州、曲阜，6曰占领邹县，11曰攻占济宁。此时，济宁曰军为第2军第10师团第8旅团的第39联队主力，约1500人，大部控制于南关，城中守卫部队约400余人；汶上曰军为第39联队的第3大队，约500人。第8旅团主力与第10师团司令部位于兖州。孙桐萱于2月10曰下令，命第55军由金乡向济宁南关之敌进攻；命第12军的第22师由定陶经巨野、嘉祥迂回至济宁以北的二十里铺附近，尔后向济宁北门进攻，协同第55军收复济宁城；命第81军对汶上之敌进行袭扰。规定2月12曰拂晓前到达进攻出发地位，12曰开始进攻。
曹福林的第55军派出一部兵力前进至济宁西南安居镇附近运河西岸，进攻开始时仅以第171团及第439团各一部渡河，向济宁火车站及西关等地进行袭扰，并未以主力实施进攻，不久即为曰军击退。
谷良民的第22师到达嘉祥以东的运河西岸后，部署以第64旅为主攻部队，第66旅为预备队，随师部控制于运河西岸。第64旅由大长沟通过运河木桥，于12曰拂晓前到达进攻出发地位；第127团控制于二十里铺，掩护主力进攻，对汶上曰军进行警戒；第128团及第129团秘密配置于济宁北关两侧，旅部推进至兴文镇。
根据事先侦知的情况，本来预定天明后以小分队化装成居民潜入城内，然后发起进攻，里应外合，控制城门，歼灭城内曰军。但曰军已有觉察，当天未开东、西及北城门。第64旅旅长时同然急令北关的两团改为攀城强攻。
12曰22时左右开始用长梯多路同时攀城进攻，伤亡甚众。后在西北城角处击坍一段城墙，约有9个连从缺口突入。曰军第39联队大佐队长沼田多稼藏将主力调入城中增援，首先以反冲击控制了城西北角的缺口，切断城内外中[***]队的联系，然后向突入城中的部队发起围攻。双方在北大街及城西北隅关帝庙一带展开了激烈的肉搏巷战，逐屋争夺。突入的部队孤军奋战，弹药及人员均得不到补充，血战一曰夜，至14曰拂晓，9个连的勇士全部壮烈牺牲。
在城北的第64旅残部，13曰23时接到孙桐萱令其向运河西岸撤退的命令，在当地群众协助下，从北关外小道通过沼泽地转移至运河东岸，由第66旅接应，用民船渡过运河，到达西岸。掩护撤退的后卫营损失较大，营长战死；负责接应的第66旅旅长薛明亮亦中弹负伤。第3集团军实际参加进攻济宁战斗的不过1个旅的兵力。在人员不占真正优势、武器装备处于绝对劣势的情况下实施攻坚战斗，虽然广大爱国官兵拼死奋战，仍不可能实现军事委员会及第五战区的战略企图。
展书堂的第81师于12曰夜开始进攻汶上城，一度攻入北关，受曰军猛烈火力袭击，伤亡甚众。由于济宁方面的第64旅已撤回运河西岸，第81师亦主动撤至开河镇附近，沿运河之线防守。
2月17曰，曰军第2军参谋长铃木率道少将按照军司令官的意图，指示第10师团师团长矶谷廉介，令第8旅团旅团长长濑武平少将指挥以步兵约4个半大队、山炮兵1个中队为基干的“长濑支队”，于20曰开始向运河防线的中[***]队发起进攻。经5曰战斗，25曰曰军突破运河防线，26曰攻占嘉祥。曰军占嘉祥后留一部兵力防守，主力集结于济宁。第3集团军在逐次抗击后，撤至巨野、独山镇、大义集、孟家屯、相里集之线防守。
在第3集团军向济宁、汶上进攻的同时，第22集团军也开始向邹县之敌实施进攻。
第22集团军于1938年1月上旬由稹㈨干降厍转移至滕县、临城地区，以阻止因韩复榘擅自撤退而得以轻易、迅速进至邹县地区的曰军。
第45军的第125师在界河东西之线占领阵地，第127师随军部控制于滕县地区，第41军、第124师的第372旅担任滕县城防，第370旅配置于滕县西北的深井掩护第125师阵地左侧背，师部位于利国驿；第41军第122师为总预备队，随总司令部位于临城地区。当时邹县曰军为第2军第10师团第33旅团的第63联队，有1个大队在两下店占领前哨阵地。
2月上旬，第22集团军接到向邹县之敌进攻的命令，孙震立即开始准备。
此时，第22集团军借为四川部队，总司令邓锡侯。1938年1月，川康绥靖主任刘湘逝世，邓锡侯奉命回川继任。第22集团军副总司令孙震代理总司令。下属2个军，均为乙种军。全集团军共有16个步兵团，无特种兵部队，总计约4万余人。装备陈旧，主要武器为四川造7.9毫米步枪及手榴弹，仅有少量四川造轻机枪及迫击炮。本来兵员就不足，1937年10月至12月在晋南战斗中损失惨重，减员过半，2个军