1941年初,日军先后对山东各根据地进行“扫荡”,均被根据地军民积极抵抗,予以击退。11月2日,日伪军由蒙阴、费县、临沂、莒县、沂水等据点出动,对鲁中沂蒙山区进行“铁壁合围”大“扫荡”。4日,日军偷袭沂南西部八路军山东军区第115师师部。5日夜,第115师师部穿出日军包围圈。
11月9日,日军5000余人向黎城、辽县一线进攻,占领并摧毁八路军设在水窑山黄崖洞的兵工厂。自10日至18日,八路军总部特务团激战8昼夜,打退日军数次冲击,掩护兵工厂人员、机器转移。18日,在第129师部队配合下,收复了黄崖洞。
为了抗击日军对根据地的“蚕食”和“治安强化运动”,各根据地陆续派出小部队进入根据地边沿乃至敌占区,进行游击,开展各种斗争。1940年4月,第129师师长刘伯承提出“敌进我进”战术,以摆脱“敌进我退”的被动局面。1941年春夏间,该师首先组成10个武装宣传队,进入敌占区展开抗战宣传,揭露日军侵略罪行,瓦解日伪军。6月18日,八路军野战政治部指示:组织武装宣传队深入敌占区,进行抗日宣传,组织对敌斗争突击队。1941年下半年,第129师、晋西北部队与晋察冀部队均派出武装宣传队潜入敌占区,开展宣传活动,镇压汉奸特务,抗击“治安强化运动”。这是敌后武工队之雏形。