2月下旬，北路日军华北方面军第二集团军司令官西尾寿造中将指挥第5、第10师团的部分兵力，分两路向南进犯。其战斗部署是：
——日军第5师团长坂垣征四郎中将指挥第21旅团向临沂突击。这个师团一部曾在平型关遭到八路军第115师的沉重打击。
西路：日军第10师团矾谷廉介中将指挥长濑谷支队从济宁地区西渡运河，向嘉祥进攻；命令濑谷支队沿津浦铁路南进，向滕县进攻。
日军进攻的枪声，首先在东路的临沂方向响起。
3月5日，东路日军第21旅团在旅团长坂本顺少将的指挥下，进至临沂北面的汤头、白塔一线。这路日军共有3个步兵团、1个炮兵团、1个骑兵营，共2万余人。主要编制有：
第11联队所属2个大队；第21联队；第42联队所属1个大队；野炮兵第5联队所属2个大队；山炮兵1个中队。