1937年秋天，林铁来到中共北方局所属的中共河北省委，担任组建时间不长的中共河北省委委员，负责军委工作，后担任中共河北省委军事部部长兼东北军53军工委书记。
“七·七”卢沟桥事变发生后，全国范围内的抗日战争全面爆发。7月8日，中共中央发表《中国共产党为日军进攻卢沟桥通电》，并就华北地区工作方针向北方局发出指示，提出：“迅速组成坚固的统一战线，应付当前的重大事变”，“立即在平绥、天津以东地区，开始着手组织义勇军，准备进行艰苦的游击战争。”
冀东是东北通往关内的咽喉要地，历来是兵家必争之地。鉴于冀东的重要战略地位，毛泽东两次作出重要指示，在冀东建立根据地进行游击战争。为实现中共中央这一战略决策，贯彻毛泽东的重要指示，中共北方局书记刘少奇提出在冀东发动抗日武装起义，于是中共河北省委任命林铁为省委军事部部长，参与领导组织冀东武装暴动。
此时，冀东地区的党组织正在准备领导冀东群众举行反日大暴动，为响应毛泽东的号召，配合冀东暴动，林铁根据省委的决定，在天津举办几期军事训练班，把经过训练的骨干送到冀东一线。
1938年2月9日，毛泽东指示八路军前方总部和晋察冀军区，具体做好组织部队挺进冀东的工作。根据这一指示，晋察冀军区从第1分区、第6分区和八路军115师中抽调部队先行前往冀东，配合武装起义。
“挺进！挺进！在卢沟桥畔，在永定河边……”1938年1月，晋察冀军区部队和八路军115师官兵，唱着这首雄壮激昂的战歌，挺进冀东大地。
为了提高冀东人民抗日的信心和勇气，抗日部队越过平绥线后，首先打下延庆县城。随后又进行了沙峪歼灭战，全歼日军士官教导队百余人，缴获大量武器装备。“没有枪、没有炮，敌人给我们造……”就是当时冀东武装起义的真实写照。
7月6日，在中共河北省委和冀热边特委的组织下，首先在滦县、昌黎、乐亭等县发动抗日武装暴动。随即武装暴动的烈火又在以丰润、迁安、蓟县、遵化、卢龙等县及开滦煤矿为中心的广大地区燃烧起来。数年来深受日本帝国主义压迫，尝够了亡国苦难的冀东人民觉醒了，纷纷拿起武器，踊跃参军。在林铁等的具体领导下，战士们在打击日伪军的同时，还宣传发动群众抗日，并派人联系当地的各种抗日力量。仅1个多月的时间，整个冀东地区共有22个县和1个矿区20余万群众参加了武装暴动，组建抗日武装10余万人。
冀东起义武装与八路军正规部队相互配合，先后攻克6座县城和许多村镇，动摇和瓦解了日伪在冀东的统治，抗日的烽火在冀东越烧越旺，初步形成了冀东抗日游击根据地。
林铁参与领导的冀东人民武装暴动，直接威胁了平津及北宁线的安全，被日军视为心腹之患。为了扑灭冀东的抗日烈火，敌人对冀东地区进行了大规模的“讨伐”。林铁率部队转战数日，军需得不到补充，暴动的人数虽然较多，但未加整顿，成分复杂。加之此时“青纱帐”已倒，平原地区难以隐蔽。因此，党中央和八路军总部决定，留下部分同志在冀东坚持游击战争，大部分转移到平西进行整训。
林铁在谈及亲身经历的冀东武装暴动的重大意义时说，虽然大部分起义群众和部队在日军重兵围剿下被迫转战他乡，但冀东人民抵御外侮、永不屈服的精神，在神州大地上薪火相传。
此后，林铁调晋察冀工作，任中共晋察冀省委组织部副部长兼民运部长、中共北岳区组织部长兼民运部长等职，他在晋察冀边区培养了大批干部，积极组织群众参军参战，开展敌后游击战争。在日寇的“大扫荡”中，领导了对敌斗争，粉碎了日伪军的多次合围，建设和巩固了北岳根据地。