9月23日夜晚，榆辽公路上袭击日军各个据点的战斗一齐打响了。右翼队顺利攻占榆辽公路上的小岭底、蒲上等日军据点。左翼队一部攻克沿壁、王景等日军据点，主力向驻守榆次的400多名日军发起攻击。
9月24日，左翼队经过一夜激战，攻占了榆次城的大部分地区，残敌退向榆次中学，这是日军设在榆次的一处核心阵地。日军凭借坚固工事，依仗有飞机掩护，负隅顽抗，不时地施放毒气。八路军攻城部队连续发起3次强攻，都没有把榆次城攻破。指战员们遵照刘伯承的指示，仔细分析敌情后，决定改进方法，采用紧迫作战。这时候，部队一面继续对残敌进行攻击，一面组织人员挖坑道，并把坑道逐渐挖到日军的核心阵地。
9月25日下午4时，一段隐蔽的坑道终于挖到了日军的碉堡底下。随着一声惊天动地的爆炸声，日军主碉堡西南面的外围工事被炸毁了。早已等候在工事旁的突击队员冒着烟雾，迅速冲向日军主碉堡，一架架云梯很快架到12米高的碉堡上，手榴弹雨点般地落在碉堡里。碉堡内的日军正被巨大的爆炸声惊得失魂落魄，哪里想得到八路军的攻击来得这样突然。
经过一番艰苦的战斗，八路军攻占榆次县城，歼灭日军中队长以下400多人，缴获各种火炮12门，轻重机枪17挺，步枪200多支。
9月27日拂晓，右翼队向辽县以西的石匣发起攻击，激烈的战斗一直进行到天黑，八路军指战员占领了石匣。
9月28日，左翼队和右翼队调整部署，准备协同新编第10旅进攻辽县。这时候，驻在和顺、武乡的日军同时出动，援助辽县。由于敌情变化，八路军总部命令部队停止进攻辽县，以一部兵力牵制南下之敌，其余兵力转移，准备在红崖头、官地垴地区伏击日军。第129师根据八路军总部的命令，即组织部队转移，并于29日24时将管头的日军据点攻克。
9月30日，天气晴朗，上午9时，左翼队第386旅的部队进至红崖头以南的山地，右翼队第385旅2个团的官兵正向伏击地域开进时，从武乡出动的600多名日军意外地进入预定伏击地区，日军的先头部队正好与右翼队的官兵在途中遭遇。两军相遇勇者胜。八路军有勇敢战斗的优良作风。第385旅的指战员途中遭遇日军，很快占领有利地形，同日军激战。左翼队第386旅迅速向日军的后尾和侧翼发起攻击。
日军指挥部得知增援部队在途中遭遇八路军，陷入西面包围之中，立即调了8架飞机来掩护。被围日军看到空中转来转去的飞机，即命令部队抢占周围高地，负隅顽抗。八路军指战员向被围日军连续发起10多次攻击，激烈的战斗进行了数十小时，歼灭了数百名日军，其余日军依托已经占领的有利地形，继续顽抗。
正当两军在临时阵地上处于对峙状态时，日军的增援部队赶到了。原来，从和顺、辽县西援的500多名日军一路急行军，向狼牙山的阻击阵地发起猛烈进攻。担任阻击任务的第32团官兵利用有利地形，坚决抗击。这路日军见从正面难以突破，就以主力迂回到狼牙山主阵地的侧后，这对担任阻击的八路军构成了严重威胁。9月31日上午10时，日军突破了狼牙山的阻击阵地，向左翼队指挥所附近逼近。
八路军总部看到，辽县、武乡的日军已经会合，从阳泉南援的1000多名日军已经抵达辽县以北地区，战场情况发生重大变化，决定结束榆辽战役。部队撤出战斗后，榆次又被日军占领了。
10月5日，刘伯承通知第32团团长宗书阁、政委李震、副团长周明国到师部汇报狼牙山阻击战情况，3人心情沉重，以为肯定要受到刘伯承的批评。谁知刘伯承热情地说，请你们来，主要是总结作战经验。中午，刘伯承在饭桌上又嘱咐他们说：“你们回去告诉大家，部队打得很好，要多鼓励，不要轻易批评。干部间要讲团结，共同总结经验教训，不要互相埋怨。你们都还年轻，不要因为一仗没有打好就背包袱，来日方长，努力学习军事知识，钻研战略战术，这对团以上的指挥员来说尤为重要。”刘伯承一番话，语重心长，既是总结，又有要求，说到了3名指挥员的心坎里，是对打赢下一场战斗的深刻动员。
10月14日，日军的一支运输部队在和顺至辽县之间的公路上行进。八路军得知这一情报后，事先在弓家沟设伏。当日军的运输队经过八路军伏击区时，遭到猛烈打击，40多辆汽车被击毁。
榆辽战役，日军独立混成第4旅团遭到八路军第129师指战员的歼灭性打击，先后被歼灭近1000人，仅100多人得以幸存。榆次城内日军储备够用一年的粮袜食武器和弹药，全部被八路军缴获。
贺龙接到八路军总部的电报以后，考虑到晋西北的日军正被我军打得晕头转向，应抓住战机继续给予打击，部队行动不一定要待到9月20日。为此，贺龙向彭德怀请示，第120师可否提前于9月15日开始行动。
彭德怀看了贺龙的电报以后，表示完全同意第120师在9月15日破击忻宁段同蒲铁路的计划。此前，彭德怀给贺龙的复电中曾指出：“连日，增援正太路之敌正在该路以南与刘邓集团作战，该路以北聂集团连日收复会里村、上下村、兴道等据点，正围攻盂县中，你们乘此机会破击极好（如能提早几天更好）。”
为了配合涞灵、榆辽地区的作战，第120师首长决定，组织部队再次破袭同蒲路北段，要求第358旅破击原平至宁武地段，独一旅破击忻县至原平地段，特务团掩护后方联络。战斗中，前线各部队统由第358旅指挥。
9月14日，第358旅从娄烦以西地区出发，向马家沟集结。百团大战开始以来，同蒲铁路遭到八路军袭击后，日军已经在铁路两侧的一些重要据点集结兵力，设置多种障碍。这次破路，八路军必须先扫清前进道路上日伪军设置的障碍。
9月18日午夜，第358旅所辖第7、第8团、特务营官兵开始袭击头马营。旅首长考虑到日军可能增援，即以特务营向头马营据点发起攻击，以第7、第8团在日军可能增援的地域设伏。战斗发起后，宁化堡40多名日军果然在19日黎明时向头马营增援，行至山寨村时，被八路军第7、第8团包围，将其全部歼灭。一场战斗，战前谋划周到，胜利就来得更快。
9月16日夜晚，独立第一旅东渡汾河。18日，将刚进入上庄据点的400多名日军包围，13时发起攻击，激战至19日凌晨，旅主力撤出战斗，执行新的破袭任务。这次战斗，独一旅毙伤日军约200人，自己伤亡105人。
9月22日夜，第358旅第4团与师特务团一起，在同蒲铁路段家岭、轩岗之间进行破袭。
第2团袭击奇村日伪军据点。9月25日，第715团破坏了大牛店、轩岗之间的铁路。
第120师官兵经过连续多天的破袭战，有力地打击了日寇，同蒲铁路的交通再次中断，使日军蒙受重大损失。
1940年10月15日，日军华北方面军向日本陆军省报告战况时，不得不承认，“石太线被破坏之广泛及其规模之大，远非其他地方可比。”
华北方面军在当时的《作战记录》中记载：“盘踞华北一带的共军，根据十八集团军总司令朱德的部署，发动了所谓百团大战，于昭和15年8月20日夜同时奇袭我交通线及生产基地（主要是矿山）。尤其在山西，其势甚猛。袭击石太路及同蒲路北段警备队的同时，并炸毁和破坏铁路、桥梁及通讯设施，使井陉煤矿等的设备，遭到彻底破坏。此次袭击，完全出乎我军意料之外，损失甚大，恢复建设需要相当长的时间与大量资金。”
百团大战第二阶段，攻坚战多了，破袭战比第一阶段少了。涞灵、榆辽战役，给日军以重大打击。由于攻坚作战，参战部队的伤亡增加了。由于战争全局尚未发展到坚守重要城镇的阶段，八路军攻涞源未克，及时转移兵力进行破袭战；随着敌情变化，放弃一些已经被我攻克的日军据点，转而在运动中寻求战机，在游击中歼灭日伪军，这不仅使自己始终处于主动地位，使日军始终处于被动挨打的境地，更重要的是在抗日战争的实践中创新了战役战法，丰富了战争艺术的宝库。
1940年10月2日，彭德怀、左权、罗瑞卿、陆定一致电“各兵团并报军委总政”，肯定了战役成果。电文指出：“百团大战一二阶段取得了伟大胜利，开辟了华北大规模进攻的新记录，证明了敌人的交通线与据点不是牢不可破的，大大地削弱、沮丧与疲劳了敌人，兴奋了全国，提高了我党我军地位，打击了投降派，巩固与开拓了根据地，锻炼了党政军民，提高了部队战斗力，保证了秋收秋耕，缴获了许多军需资材，对于百团大战的胜利任何估计上的悲观失望都是极端错误的。”
电文同时提出，“目前敌寇正集中力量进攻安南、云南、重庆，这正是开展华北战局的良机。我们的任务是再接再厉，扩大胜利，只有这样才能大量吸引敌人，真正做到破坏其进攻昆明、重庆、西安的战略计划，争取时局的好转。只有这样才能真正缩小敌占区，巩固抗日根据地”。
4.反“扫荡”斗争
华北地区的日军遭到八路军近两个月的连续打击以后，深深感到八路军对其华北驻军的威胁。为了稳定华北的局势，维护其在华北的利益，从10月上旬开始陆续调集重兵，对华北各抗日根据地进行残酷的“扫荡”。
日军所到之处，大肆烧杀、奸淫掳掠，残暴之极。
在这种形势下，发扬连续作战的精神，坚决反“扫荡”，成为八路军的主要任务。百团大战发展到第三阶段，在作战样式上由破袭战演变为反“扫荡”。
1940年10月19日24时，朱德、彭德怀、左权联名下达了第三阶段的作战命令。命令指出：“百团大战后敌抽集兵力向我大肆‘扫荡’”，“各部应注意速做反‘扫荡’的准备”。八路军首长提出的准备工作主要有以下4项：1．敌人对我采取空前毁灭政策；我党政军民密切配合，深入战争动员，领导空室清野。
2．军队应集结适当位置，休整准备坚决歼敌一至二路，广泛开展游击战争，打击敌人，分散部队。
3．为了保持长期不断战争，注意兵员补充。
4．各部队应有粉碎敌人扫荡而配合作战，互相策应，共收战争胜利之功。
根据八路军总部的部署，华北抗日根据地展开了一场悲壮激烈的反“扫荡”战斗。抗日军民打击日本侵略军的号角又吹响了。
太行根据地是中共中央北方局、八路军总部所在地，也是日军重点“扫荡”的一个地区。
10月6日，驻于冀西武安的800多名日伪军，开始对阳邑一带进行“扫荡”。“扫荡”是一种及其野蛮、残酷的侵略行为。日军的战斗编队中，就有烧毁各种设施的放火队；有搜索、挖掘埋藏物资的搜索队；有负责搜山、清乡，捉获群众的捕捉队。日本侵略军在大“扫荡”中，妄图以野蛮的“三光”政策摧毁抗日根据地。
10月11日，日军调集了3000多人，分两路对太行根据地的榆次、辽县、武乡、黎城之间地区进行大规模“扫荡”。其中，日军独立混成第4旅团一部兵力，从武乡出发，第36师团一部兵力，从潞城、襄垣出发，南北策应，“扫荡”抗日根据地。日本鬼子每到一地，就对根据地的兵工厂、被服厂、医院、学校、房屋、粮食、耕畜、生产工具乃至水井、水源等，全部进行彻底破坏，对于被捕的女性则强奸、轮奸，直到践踏致死；对于被捕的男性，或则充当苦役，或则全部杀死。
八路军指战员内外线配合，坚决打击日军。第129师第385、第386旅，决死第一纵队等部队在内线阻击，新编第10旅在外线作战，互相策应。10月15日上午，新编第10旅2个团抓住战机，在和辽公路弓家沟地段设伏，突然袭击日军汽车队，击毁日军汽车40多辆，歼灭押车日军400多人。日军遭到这次歼灭性打击后，半个月都不敢在和辽公路上进行运输了。
10月14日，八路军总部从王家峪村转移到砖壁村，砖壁村的地形比较隐蔽。紧张的反“扫荡”开始后，彭德怀率领八路军总部指挥机关，转驻黎城县栓马、宋家庄一带。
10月20日，日军第36师团、独立混成第4旅团近万人，分别从武安、辽县、武乡、潞城等地出发，开始更大规模的“扫荡”。这次“扫荡”，日军的意图很明显，矛头直指中共中央北方局、八路军总部机关、第129师师部、晋察冀边区党政机关所在地。这时候，根据地军民刚刚打退一次“扫荡”，没有预料到日军的第二次“扫荡”来得这么突然，兵力又这么多，主力部队还没有来得及转移到外线，一时处于被动地位。日军进入合击区的数日里，到处进行疯狂的“清剿”、烧、杀、抢，残暴至极。
“扫荡”这种残酷的暴行，在千百年的人类战争史上是罕见的。在冀晋边界，日军为了搜索抗日军民的物资，在可疑的地方掘地3尺，洗劫之后，还实行严密封锁。更为凶残的是，在北迄五台山南台脚下的石咀，经门限石、耿镇、高洪口、东峪口、柏兰至下社、上社等地，南北长50余公里，东西宽30余公里的区域，血腥制造了一个无人区，在这一区域内，村庄焚尽，水源破坏，资财掠空，树木砍光，人民群众不是被抓走，就遭到屠戮，尸骨横野，遍地殷墟。