在腐败的清王朝的统治下，要在中国闯出一条革新救国之路是困难的。1898年秋，康有为、梁启超等在辅助光绪皇帝进行了历时103天的维新变法后，即遭到慈禧太后为首的反动势力的镇压，这次历史上著名的戊戌变法因此失败。谭嗣同等6人殉难，康有为、梁启超逃亡日本，湖南时务学堂也被解散。
求知心切的蔡锷，在愤疾、茫然和失望中，漂泊江汉，后来辗转来到上海，欲投考南洋公学。这时，在日本的梁启超已经得悉蔡锷等人行踪，于1899年7月来函召蔡锷等人东渡日本。在日本的唐才常又给他们寄来路费。于是，蔡锷和其他11位意气风发的同窗友好，便从上海启程，东渡日本，开始了留学生涯。
蔡锷到日本后，先进入梁启超和日本华侨共同创办的东京大同高等学校学习日语，研究政治、哲学，补习普通学科，开始比较系统地接受西方资产阶级民主革命思想，耳目为之一新。学校的条件虽然简陋，但蔡锷十分珍惜时间和这难得的机会，认真学习西方先进的政治哲学著作。后来，蔡锷又进入了横滨的东亚商业学校，继续刻苦地探求新知。学校的生活尽管十分艰苦，但蔡锷在勤奋学习的同时，时刻不忘关注自己祖国的前途和人民的命运，积极投身于留学生的爱国运动，并加入了唐才常创立的“自立会”。
唐才常是维新改良派中思想比较激进的，他在上海成立自立会后，又在东京发展自立会成员并组织自立军，目的是“保国保种”。自立会与当时在海外策动革命的孙中山有紧密联系，企图联合当时的改良派和革命派，共同实现已破产的变法维新。1900年，中国北方爆发了义和团运动，日俄等八国联军乘机发动了侵华战争，清政府内外交困。唐才常认为这是发动反清革命的大好时机，于是他在经过一番准备之后，决定返回祖国，在武汉成立自立军总部，策动武装起义。蔡锷与同学杨述堂、李虎等11人闻迅回国参加起义。由于起义的计划泄漏，准备不够充分，起义遭到了失败，唐才常等20多名志士被捕遇难。蔡锷因被派往湖南执行联络任务而幸免于难。
“出师未捷身先死，长使英雄泪满襟”。蔡锷得知唐才常和许多其他同学不幸殉难的消息，悲痛欲绝，恨不能也像同学一样壮烈捐躯。经过这一事变，蔡锷又一次目睹山河破碎、国势危亡的景况，不得不再次东渡日本。在东渡的船上，他挥笔赋诗，倾吐了自己的激愤心情：“拳军猛焰逼天高，灭祀由来不用刀。汉种无人创新国，致将庞鹿向西逃。”“而今国士尽书生，肩荷乾坤祖宋臣。流血救民吾辈事，千秋肝胆自轮囷。”字里行间，凝结着蔡锷强烈的爱和恨，更抒发了他对国家和民族前途的无限希望。回到日本，他毅然决定将蔡艮寅的名字改为蔡锷，取其“砥砺锋锷，重新做起”之意，决心化悲痛为力量，在未来的征途上，像锷刀那样光芒四射、锋利无比，为国为民，勇往直前。
同时，蔡锷对自己的前程作出了重要的抉择：投笔从戎，弃文习武，改学陆军，以实现自己“流血救民”的宏伟抱负。蔡锷向他的老师梁启超谈起了自己想改学军事的想法，征询老师的意见。梁启超看着蔡锷那文弱单薄的身子，不禁笑道：“你以一文弱书生，恐怕难以担当军事重任。”蔡锷坚决而自信地回答说：“今日讲救国，拿枪杆子比拿笔杆子重要，只须先生为我设法学得军事，将来不做一个有名的军人，不算先生门生。”梁启超见蔡锷习武之志如此坚定，不禁频频点头，表示首肯。在梁启超的帮助下，蔡锷以私费进入东京陆军成城学校学习。
蔡锷是抱着“图强雪耻”、“流血救民”的志向而弃文学武的。在学习军事科学的同时，蔡锷一面关注着祖国的安危，一面悉心考察日本的政俗民情，了解日本自明治维新以来的变化。目睹日本举国上下蒸蒸日上、繁荣昌盛的景象，蔡锷陷入了沉思：中日两国，同样受到西方列强的侵略，为什么30年间却产生了一强一弱的巨大差距呢？思虑再三，他终于悟出了其关键在于“国体精神”的差异。一个善学西法，励精图治；一个则因循守旧，固步自封。作为“文明之祖邦”的中国，如果不在国体精神方面进行彻底变革，很难由贫弱转为富强，走出落后挨打的困境。蔡锷进而认为，救国必须先从军事入手，先把握领导和训练国民的实权，再寻求拯救中国的方法。
为了实现自己的救国抱负，蔡锷在课余之暇积极参加中国留学生的活动。1902年，蔡锷追随黄兴等人，办起了《游学编译》杂志和湖南编译社，介绍西方资产阶级的政治学说，宣传革命和民族独立思想。1903年，为了抗议沙俄对中国东北的侵略，蔡锷与黄兴等人在留学生中发起并组织“拒俄义勇队”，进行定期训练，准备为国赴难。不久，拒俄义勇队更名为“军国民教育会”，成为中国最早参加革命的学术团体。为了唤醒国人，蔡锷还积极发表革命文章。1902年，蔡锷在《新民丛报》上发表了一篇长达1.5万字、题为《军国民篇》的文章，比较详细地阐述了自己的军事救国思想。
在《军国民篇》中，蔡锷首先回顾了灾难深重的中华民族在甲午战争失败后的震颤、奋起及其结局。他痛心地指出中国仍处于毫无生气的病弱状态。要改变这种“生气销沉”的局面，就要实行军国民主义。在蔡锷的心中，军国民主义就是发端于古希腊的斯巴达，而为近代各个列强所继承并加以发扬的“刚武不屈之气”和尚武精神。进而论述了中国之所以缺乏军国民主义而落下致弱的病根的八大原因。在蔡锷看来，中国的前途和希望，中国由弱变强的关键在于“陶铸国魂”，“建造军国民”，最后达到国家的富强。什么是“国魂”呢？他说：“国魂者，国家建立之大纲，国民自尊自立之种子。其于国民之关系也，如战阵中之司令官，如航海之指南针，如枪炮之照星，如星辰之北斗。”但是，蔡锷并没有指出中华民族的国魂是什么。
蔡锷的《军国民篇》是中国较早宣传军国民主义的文章，不仅在中国国内引人瞩目，而且在日本也产生了较大的影响。文章发表后，日本人下河边五郎曾将此文和蒋百里所写的《军国民之教育》一文，合编为《军事篇》一书，先后印行7版。蔡锷所宣传的军国民主义，是戊戌革新后呼吁改革声音的继续。蔡锷把军国民与国魂联系在一起，其实，这国魂就是这一时期青年眼中的“祖国主义”，即提倡民主的民族主义和爱国主义。蔡锷的军国民思想具有民主、爱国主义的内容。但是，无论“军国民”还是“国魂”，如果离开了推翻帝国主义和封建统治这一根本问题，只是一点一滴地进行改良，那么，无论从军事入手，或者是从教育、科学入手，都是无济于事的。在20世纪初年，军国民主义虽然是爱国青年为了拯救祖国的一种呼声，然而却不可能真正地挽救中国的危机。
1903年1月，他还写了一封《致湖南绅士书》，向故乡父老恳切地汇报了自己在日本的见闻和观感，并呼吁故乡有志之士“报国家而酬万民，御外族而结团体”，表示自己身处异域而心系祖国，时时“瞻望乡关”，“憾不能插翅鹏飞”，与祖国同胞共同担负改造中国的时代重任。
在日本留学的几年中，蔡锷由成城学校的预科生而至兵营的入伍生再至东京士官学校的骑兵科，这一系列的经历大大地开阔了他的视野。随着思想的进步和成熟，他终于觉悟到必须探索出一条新的救国道路，这就是要救亡图存，必须革命；要革命，就要用武力推翻清王朝的腐朽统治。
1904年11月，蔡锷从东京士官学校毕业了，在100多名毕业生中，他和蒋百里、张孝准的成绩名列前茅，被誉为“中国士官三杰”。年底，归心似箭的他便身着戎装踏上了回国的航程。