一场失败的战争震撼了中国大地，国人似乎从睡梦中惊醒了。当时的现状是：旧式绿营和八旗兵已处于崩溃边缘，一时间“改练新军”之说大盛。“晚清栋梁”张之洞率先倡练江南自强军，简称“南洋军”。其后袁世凯接手北洋新军的操练，在晚清和民初的政治舞台上，“北洋军阀”遂成为老少皆知的一个名词。
所谓“北洋新军”，是脱胎于“淮军”的一支新式军队。同治元年（1862），李鸿章援助江苏，招募淮军七千人，奠定了淮军这支以私人武装为骨干的军队的基础。连军队的番号也是以姓名为标记，如张树珊、张树声兄弟的“树”字营，周盛传的“盛”字营，刘铭传的“铭”字营，潘鼎新的“鼎”字营，吴长庆的“庆”字营等等。
小站是天津与大沽之间的一个小集镇，淮军曾采取“屯田法”在此驻军二十多年。早先，清廷派长芦盐运使胡燏棻在此训练定武军，胡聘请德国人汉纳根担任教官。袁世凯上任后的第一个动作，是将四千人的北洋新军扩充为七千人。随后组织了“新建陆军督练处”，请老朋友徐世昌担任总参谋，唐绍仪担任总文案，又请北洋武备学堂总办荫昌推荐军事人才。荫昌推荐了武备学堂毕业生王士珍、段祺瑞、冯国璋、梁华殿4人。梁华殿到小站后不久，一次夜操中失足跌落河中溺死，其余3人都被委以重任。王士珍为工种学堂总办兼工兵统带，段祺瑞为炮兵学堂总办兼炮兵统带，冯国璋为步兵学堂总办兼督练劳务处总办。随后，王、段、冯三人分别得到“龙”“虎”“狗”的绰号，被人称做“北洋三杰”。除了“北洋三杰”外，袁世凯还从两方面物色军事干部，一方面继续在北洋武备学堂搜罗人才，另一方面提拔了一些忠诚于他的老兵老将。
袁世凯是一个性格复杂的人物。一般人都认为，袁是一个骑墙派，新派旧派两边爱。说这是一种事实可以，说这是袁世凯处心积虑得到的结果，却也难免。从这个时期的表现来看，袁的政治立场并不鲜明，他经常挂在嘴边上的一句话是：“欲使中国变弱为强，自以练兵为第一件事。”在袁看来，中国衰弱是因为缺少一支能打硬仗的军队，练兵应是国家的当务之急。无论新派旧派，只要能练兵强国他就支持。正是因为这么一种态度，他很快成了各方政治力量都能接受的人物。
北洋军的武器装备，清一色从国外采购而来。有奥地利造的曼利夏步枪、马枪和战刀，有从德国克虏伯军工厂进口的57厘米过山炮、七生特半陆路炮等。军官一律配带六响左轮手枪和精美佩刀。领、哨各官及兵丁鞋袜“一律黑色，不准参差”。官弁服装袖口处绣有红色官阶标志。在练兵方法上，改旧式操法为“洋法”操练，袁世凯通过中国驻德公使，延聘了十余名德国军官充当北洋军的教官，还专门成立了教习处（后改名为洋务局）。教习处总头目巴森斯，负责全军的训练和作战演习。操场稽查也是两个德国人，名为施壁士、伯罗恩，负责操场训练。此外，礼节兼军械稽查魏贝尔、炮兵教习乞凯芬、骑兵稽查兼教习曼德、德文教习莫兴理、号兵乐队总教习高斯达等，都是袁世凯的幕僚。
光绪二十四年（1898）九月，英国海军司令贝思福来中国考察政治军事，曾赴小站参观过袁世凯所练的北洋新军。据他在《论中国水陆兵备》一章中叙述的情形说：“当各队操演之时，各兵类皆年力精壮，身材适中，操法灵熟，步式整齐。先在本营操场操演阵式，后至旷野操演两军攻击之阵式，各将弁与兵丁皆娴习口号，熟谙行阵，可想见该军纪律之严明矣。惟炮队则尚待整顿。若照现在情形，只能于操演之时聊备一格，未足以为临阵之用也。”贝思福的观察报告对袁世凯颇多赞扬，据此不难想见当年小站练兵的实际效果。
新建陆军七千余人，规模并不算大，但是组织严密，其后势力日张，几乎布满全国。名声昭著的北洋军阀体系从这里生发开来，民国的大总统、副总统、执政、国务总理、各部总长、巡阅使、各省督军、省长、军长、师长、旅长多出自于小站，他们对清末民初数十年间的政局影响极大。
在小站练兵期间还有一桩事情值得一提：袁世凯先后主编了两部兵书，一部是《新建陆军兵略录存》，另一部是《训练操法详晰图说》。两部书共四十余万字，是新建陆军三四年的练兵经验总结。
一谈到袁世凯编兵书，人们动辄嗤之以鼻，认为袁世凯不学无术，主编兵书纯属欺世盗名。甚至有人说是袁花银子请人代笔而成，这些说法有违事实，也不公允。
《新建陆军兵略录存》一书纂集于戊戌变法期间，是光绪皇帝倡导的“百日维新”计划中的一部分。书中内容主要是小站练兵条令及规章的集结。
《训练操法详晰图说》编纂时间稍晚一些，仍是由袁世凯领衔，调集了北洋新军主要幕僚文案和武将，计有46人之多。如段祺瑞、冯国璋、王士珍、阮忠枢、言敦源等人物，都是这个写作班子里的成员。此书二十余万字，费时三个月完成。内容包括训练、练兵、攻守、驻扎、步兵、炮兵、骑兵、工程兵等诸多兵种的操法，以及电信、电雷、测绘等论述，是一部近代中国陆军兵书。在这部书的编纂过程中，袁世凯发凡（陈述全书）起例，立定框架格局，为全书定下“不求深意奥妙，只求文理通顺”的编纂行文原则。
新建陆军是在淮军基础上改造而来的，免不了带有旧式军队的痕迹，私人武装色彩浓厚是其显著的特点。在新建陆军和北洋的各类军事学堂中，大树特树袁世凯个人的绝对权威，指使各营军官向士兵们训话：袁宫保是咱们的衣食父母，应该祝他老人家健康长寿。各营驻地的军帐宅第内供奉起了袁世凯的生禄牌位，士兵进出须得弯腰鞠躬，以至于北洋六镇的官兵“只知袁宫保，不知大清朝”。
这么一来势必惹火烧身。有人弹劾袁世凯，奏了一本，平地里又起了风波。
写奏折的是监察御史胡景桂。此人字月舫，北平人。据说，他上这个奏折是出自于清流派领袖李鸿藻的指使。袁在练兵草创时期，无意中得罪了天津绅商，他们认为袁世凯办事急躁鲁莽，专横跋扈。这些手眼通天的人物将意见捅到京城，被李鸿藻知道了。李是当初保荐袁的大人物之一，他担心落个“滥保非人”的恶名，也担心清流名声受损，于是派其手下胡景桂去搜集袁世凯的材料，以脱掉干系。胡景桂弹劾袁世凯的理由有这么几条：嗜杀擅权，克扣军饷，诛戮无辜，性情谬妄，扰害地方。袁世凯得到被人参劾的消息，又听说背后指使者是大人物李鸿藻，心情一下子降到了冰点，他在给徐世昌的信中说：“两旬来心神恍惚，志气昏堕，所有夙志，竟至一冷如冰。军事实无心详述。”
奏折引起了光绪皇帝的关注，派兵部尚书荣禄前往天津调查“被参各节是否属实”，顺便也实地考察一下袁世凯的能力。荣禄携在兵部供职的陈夔龙同往。他们到了小站，看到了练兵情况，步、马、炮兵全以西法操练，整齐划一。荣禄对此极为满意，他私下里决定要放这个特殊人才一马。胡景桂参劾的几条罪状，都还能想法子搪塞，唯独其中“诛戮无辜”一条很是难办。
原来，小站练兵之初，袁世凯发布了几条禁令，为了防止兵丁与商贩发生纠纷，不允许商贩进入兵营内做生意。可是商贩不把禁令当回事，依然摆摊设位，照常营业。情况报告到袁世凯那里，他下令抓几个商贩杀鸡儆猴。有个菜贩子也在被抓之列，心里愤懑不过，操起扁担朝兵丁砍过去，造成了一桩流血事件。袁世凯听了这个消息，发话叫手下将那个菜贩子“处理”了。这桩命案可大可小，说大，毕竟死了一条人命，“诛戮无辜”的帽子正好合适；说小，在军营内违犯禁令，按军法处置也说得过去，顶多担个“执法过严”的责任。荣禄和陈夔龙商量，倘若据实奏报，上头必定要追究，袁世凯必然会遭到撤职处分，新军刚刚开练，再找个生手接办不易。按照荣禄的主意，给光绪皇帝写了份调查报告，复奏所参各节，均查无实据，请从宽议处，仍严令认真督练新军，以资鼓励。
在荣禄的庇护下，袁世凯总算安全度过了这一关。
不是冤家不聚头。事情过了几年之后，命运给袁世凯安排了个报仇的良机。光绪二十五年（1899），袁世凯擢升山东巡抚，胡景桂是山东按察使，正好是袁的直接下属。一想起当年满肚子的委屈，袁世凯恨得牙发痒。出人意料的是，袁世凯并没有乘机打击报复，甚至没有给胡景桂穿小鞋，反而任命胡兼任武卫右军先锋营务处，参与新建陆军事务。在向朝廷写的秘密考评中，袁世凯给予胡景桂优良的评语：“该员诚朴亮直，能任劳任怨。讲求刑名捕务，均能实事求是。”后来义和团发生“庚子之变”，八国联军占领北京，向清政府提出的惩办“祸首”的名单中有胡景桂。按理说袁世凯正好顺水推舟，借外国人的刀砍下胡景桂的脑袋，可是他并没有那么做，而是向德国驻烟台领事诉说胡的冤情，敦请德国领事到北京说情，救了胡景桂一命。
袁的这番举动让胡景桂大受感动，从此对袁忠心耿耿，竭诚效命，成为袁世凯棋盘上的又一颗棋子。