在第五次反“围剿”中，由于博古等领导人先是军事冒险主义，后又是军事保守主义的战略指导，屡战失利，苏区日益缩小，形势日趋严重。湘赣革命根据地红军反“围剿”作战的处境也十分困难。反“围剿”持续一年之久，中央苏区军民全力以赴，为保卫苏区进行了艰苦卓绝的斗争，付出了巨大代价，给予国民党军重创，但由于中共中央实行错误的军事战略和作战原则，造成这次反“围剿”失败。
10月初，国民党军重兵集团继续向中央苏区腹地推进。这时，中共中央和中革军委博古等领导人未经中央政治局讨论，即决定放弃中央苏区，到湘西与红二、红六军团会合。10日晚，中共中央、中革军委率中央红军主力5个军团以及中央、军委机关直属队共8.6万余人，从瑞金、古城等地出发，被迫退出中央苏区，向湘西实行战略转移，这也是长征的开始。红军第二十四师和地方部队共1.6万余人，在项英、陈毅领导下，留在当地坚持斗争。
参加二万五千里长征
1934年10月11日，由军委主席朱德、副主席周恩来署名，中央军委发布战略转移行动的命令。10月上旬，中央红军主力各军团分别集结，陆续出发，中共中央和红军总部及直属纵队离开江西瑞金。
刘辉山从中央军委取回命令交给了红一军团林彪和聂荣臻。红一军团从江西瑞金以西的宽田出发，其任务是作为红军的左前卫在前开路，掩护中央纵队和军委纵队行进。渡过夕阳照耀下的资水河，刘辉山和许多红军指战员一样，依依不舍地回头远望着中央苏区的青山绿水，告别了在河边送别的战友和乡亲们，踏上征途。
10月21日，中央红军从赣县王母渡至信丰县新田间突破国民党军第一道封锁线，沿粤赣边、湘粤边、湘桂边西行，至11月15日突破了国民党军第二、第三道封锁线。然而博古、李德等领导人一味退却，消极避战，使红军继续处于不利地位。
红军继续向西行进，准备渡过湘江到达湘西苏区根据地。蒋介石紧急调兵遣将，命白崇禧、刘湘、刘建绪沿湘江、桂黄公路一线设第四道封锁线，妄图将红军消灭在此。
面对第四道封锁线，中央军委决定从兴安、全州之间抢渡湘江，命红一军团在右翼、三军团在左翼，从两翼掩护中央纵队和军委纵队强渡湘江。红一军团抢渡湘江后在觉山布置阻击线，保护渡口，掩护中央军委纵队渡江。从11月29日至30日，十多架敌机对我阵地狂轰滥炸；在敌机的掩护和重炮的轰击下，敌军轮番冲击我阻击阵地，企图夺回渡口。但渡口始终牢牢地掌控在红军手中，直至中央和军委纵队顺利渡过湘江。但由于连续苦战，红军锐减至三万余人。
刘辉山回忆这次残酷的战斗时说：
12月1日凌晨，在飞机对我阵地的狂轰滥炸和敌军的进攻下，红一军团军团部险些全军覆灭。当时，军团指挥所在一个山坡上，林彪和聂荣臻得知中央纵队已开始渡江，在分析下一步行动方案时，警卫员突然发现敌人已迂回指挥所后面端着刺刀上来了，他马上报告林彪和聂荣臻。情况非常危急，林彪马上命令赶紧转移。聂荣臻一面组织部队赶紧撤收电台，向一个山隘口转移；一面命一部分同志准备就地抗击敌人。同时命令我（我当时任司令部警卫排长）赶紧去山坡下通知刘亚楼和政治部的同志紧急转移。我一面布置警卫排阻击敌人掩护团部转移，一面往山下跑去传达命令。往山下跑时，突然脚上的草鞋吧嗒、吧嗒地快掉下来了，我顾不上吊在脚上的草鞋，跑下坡传达了聂荣臻的命令。转移到安全地方后一看，原来是往坡下跑时，一颗子弹把脚上的草鞋打穿了，竟没有伤着脚！50年后，聂荣臻在回忆录中记述了这件事，他说：“这是我经历过的最奇特的场面。”
接近正午时分，得知中央纵队已经渡过湘江并已越过桂黄公路，林彪、聂荣臻才放了心，令一师和二师交替掩护，边打边撤。一师经木皮口、鸽子江口，二师经庙山、梅子岭、大湾，分别从两个山隘口退入越城岭山区，通过了第四道封锁线。
12月中旬，抵达湘黔边时，毛泽东力主放弃原定进入湘西与第二、六军团会合的计划。12月14日，红一军团抢占贵州黎平，一面驱逐城外的黔敌，一面保障中央政治局在黎平开会。在黎平会议上，面对红军战略转移过程中国民党军队的围追堵截和红军遭受的巨大损失，参加会议的同志同意了毛泽东的正确意见，彻底否定了“左”倾冒险主义的错误路线，使红军避免了覆亡的危险，由被动转为主动，为遵义会议确立毛泽东在红军中的领导地位奠定了基础。12月18日，中央政治局做出了关于在川黔边界建立新根据地的决议，准备以遵义为中心建立根据地。
在第一次攻打遵义时，王家烈的守城部队负隅顽抗，攻城战斗异常激烈，红军减员较重，刘辉山带领的一个班只剩下他和一个班长。红一军团领导决定智取遵义城。派六团一营营长带一个侦察排，化装成敌军，由俘虏兵带路，全团跟在他们之后，向遵义前进。当时六团做了两手准备：一，争取诈开城门；二，如诈不开城门，就强攻上去。结果敌人真以为是从外围据点败退回来的自己人，开门迎接，红军成功智取遵义城。1月7日凌晨，红二师进了遵义城。同时，红一军团派出一支部队从板桥镇绕小路插到了娄山关的侧后，攻占了娄山关，紧接着打开桐梓县城，又乘胜追击，占领丁松坎，肃清了遵义城围边的敌军。
中央军委纵队9日进入遵义城，由刘伯承同志兼任遵义警备司令。此时刘辉山已由红一军团司令部警卫排调红一军团直属警备连任副连长。
1935年1月，遵义会议在黔北重镇遵义召开。刘辉山所在的红一军团警备连主要负责中央军委的警卫工作。
这天早上刘辉山在布置任务时告诉大家，从今天晚上开始，中央将在红军总部驻地——原黔军二十五师师长柏辉章的公馆里召开一个重要会议，中央、军委领导和各军团主要负责同志都要参加，警卫任务特殊而艰巨，要求大家一定要以百倍的警惕完成这一神圣而光荣的任务。接着，指导员姚子和作补充。他强调在执行任务过程中，一定要小心又小心，警惕又警惕，不能有半点闪失。遵义城虽已拿下，但敌情还复杂得很，敌人的特务随时都会伺机作乱。按照警卫方案，从大门到一楼再到二楼会场，关键位置都布了岗哨，24小时轮流站岗。
这个重要的会议就是遵义政治局扩大会议，共开了三天，从15日至17日。
出席会议的，除了政治局委员和候补委员毛泽东、周恩来、王稼祥、张闻天、朱德、刘少奇、陈云、博古、邓发、凯丰以外，刘伯承、李富春、彭德怀、杨尚昆、李卓然、邓小平、聂荣臻和林彪也出席了会议，李德列席了会议。
遵义会议着重总结了第五次反“围剿”失败的经验教训，纠正了王明“左”倾冒险主义在军事上的错误，确立了以毛泽东为代表的中共中央的正确领导，制定了红军以后的战略方针，这次会议是中国共产党和工农红军历史上一个伟大的转折点，它在最危险的关头挽救了红军，挽救中国革命。遵义会议后组成了毛泽东、周恩来、王稼祥参加的三人军事指挥小组。他们以中共中央、中央军委的名义指挥红军的行动。
遵义会议后，鉴于川敌布防严密，中央红军确定撤离遵义后，在川黔滇边和贵州省内迂回穿插。特别是在四渡赤水的过程中，中央红军灵活机动地创造战机，运动作战，各个歼敌，以少胜多，从而变被动为主动。随后出敌不意，主力南渡乌江，直逼贵阳，迅即西进，4月下旬以一部在侧翼策应。5月初，抢渡金沙江，摆脱了几十万国民党军的围追堵截，取得了战略转移中具有决定意义的胜利。由于执行了正确的民族政策，红军顺利通过大凉山彝族区。接着强渡大渡河，飞夺泸定桥，甩掉国民党军队。
1935年6月，刘辉山所在的红一军团冒着怪叫的狂风、刺骨般的暴雪、稀薄的空气艰难地攀过了夹金山、梦笔山、长板山和打鼓山四座雪山，与红四方面军在懋功会师。
红四方面军原在川陕根据地，为向川甘边发展，1935年3月28日至4月28日取得强渡嘉陵江战役的重大胜利。然而红四方面军主要领导人张国焘等擅自决定放弃川陕根据地向西转移。5月初，共八万余人开始长征，中旬占领了茂县（今茂汶）、理番（今理县)为中心的广大地区。
红一、四方面军会师后，红军以北上建立川陕甘根据地为战略方针，中共中央决定将两个方面军混合编为左、右两路军过草地北上。8月21日，红一军团在前，毛泽东主席等中央首长和中央纵队跟进，红三军团担任后卫，向距离毛儿盖四十里的草地进发。荒无人烟的草地里河沟交错，充满黑水，散发着臭气，根本没有路，到处是烂泥潭。表面看是水和草，底下却是深不见底的泥沼，一不小心就会陷入而难以自拔，甚至整个人都会陷进去而丧生。由于所带粮食不足，到后来只能以野菜、树皮充饥，甚至把皮带、皮毛坎肩、马鞍子等都煮着吃。刘辉山在过草地的最后几天吃掉了身上的半截皮带。红一方面军和中央纵队经过六天艰难跋涉，终于走出草地，抵达班佑、巴西地区。
古远兴当时随中央纵队踏上长征之路，这段经历他历历在目：
五次反“围剿”失败后，我们是从瑞金出发开始长征的。在长征中我也经历了突破敌人四道封锁线，渡湘江，四渡赤水，过乌江，逼贵阳，渡过金沙江，爬雪山，过草地，走完了二万五千里的路程。
我那时回到了红军总政治部的通信班，我们不仅要保障首长的通信，还要负责总政治部的警卫任务。
在长征出发前的动员中，领导没有多讲什么，只是讲要到外线去作战，所以谁也不知道这以后要走那么多的路。我那时候年龄又小，每天要跟着部队往前走，真是要把人走死，不仅如此我们还要随时面对和敌人的战斗。
在长征途中的生活非常困难，没有盐吃，粮食也很少。再加上敌人的围堵，战斗打得都很激烈。我虽然在总政治部，也参加过战斗，但主要任务还是送信。前方打得很厉害，AAA的急件很多，我们看到这样的信件，无论在什么样的情况下都要尽快送到。如果遇到敌人，在最危急的情况下，为了保守机密，就要把文件销毁，再去和敌人做最后的一拼，不能把党的机密留给敌人，这就是领导对我们最基本的要求。我们面对敌人和艰苦的环境，不怕牺牲和困难，努力去完成领导交给的任务。
遵义会议前，我们基本上是让敌人撵着走，遵义会议后感觉就不一样了，好像是在牵着敌人来回地转，也开始打胜仗啦，在以后的陕北转战中，我也有同样的感受。
长征考验着红军的生存，也考验着每个红军战士的意志。如果怕苦、怕艰难，没有坚强的意志，你就会在路上脱离红军，就会留在雪山上，也过不了草地，二万五千里你就走不下来。面对走与留、生与死，面对恶劣的生存条件，我始终没有动摇过跟着红军往前走和坚定的必胜信念，最终我跟着中央红军到达陕北。
在长征路上，红军不论走到哪里都要做好群众工作，要帮助老百姓干一些农活和家里的活。经过贵州的时候，我们来到一个村庄，我记不清地名了，我们班住到一个农户家里，这个家里有一对夫妇和一个女儿，老汉四十多岁，女儿也有二十岁出头，他们家里比较富裕，房子很多，还有地。地里的活，忙不过来的时候他们会雇人来干。从表面上看，他们家的样子不像是地主老财，因为一是地主老财害怕红军，见了红军就跑；二是他们的地都是自己种，没有租出去。
红军来了他们雇的人都跑了，所以我们住在这里，就帮他们家做些农活和家里的活计。我在家里就干过农活，所以这家老汉看我干活是一把好手就想把我留下，让我给他当倒插门的女婿。在我们家乡倒插门的女婿是被别人看不起的。
在生活上，他们家把我们这些红军照顾得很好，看我们缺少粮食就送粮给我们。那时候，可能是因为多年的战争，或者有什么其他原因，这个村子里的年轻一点的男人很少，所以缺少劳动力。既然他们家的农活这么多，我们就给他们家多做些事情。我给他们家做的事情越多，老汉就越想把我留下。在我们就要离开的前几天，老汉还找来了媒婆向我提亲，我没有答应。
我们走的那天，老汉和老婆婆还有闺女站在门口送我们，我看到闺女的眼睛红红的，看样子好像是哭过。老汉送给了我一双布鞋，里面的鞋垫还绣着花，我知道这是他闺女做的鞋，老汉还对我说：“打完仗还回来。”我感谢了老汉后就走了。
这家人生活要说起来比我们家好得多，也比红军艰苦而又危险的生活要好很多，但是我还是坚定地跟着红军走了。虽然我没有留下来，但听说还是有人留了下来。
在路过贵州茅台地区的时候，一进村口就闻到酒香。这里有钱的人家，家家都存有好多酒。地主老财的家里酒更多啦，我们到的时候他们人早就跑了。我在村子里看见一个首长在一个已经被打破的酒罐子前面，用水壶接着从酒罐子里流出来酒，当看见其他罐子里的酒往地上淌的时候，他一边接着酒一边说：“哎呀，哎呀，可惜了，可惜了。”我过去看到满地洒的酒和首长的样子，就笑着说：“首长你要它干什么？”“小鬼，这可是好东西呀，你去找一个盆子来，接一些回去泡泡脚，可以解乏，包你脚掌不打泡。”