1935年2月19日，中共江苏省委和左翼文化总同盟先后被破坏，丁玲、田汉、阳翰笙、赵铭彝等左翼文艺家相继被捕。由于聂耳充满战斗激情的歌曲及蓬勃高涨的抗日救亡歌咏活动，引起了国民党反动派的恐惧和仇恨。4月1日，传来了聂耳也有被捕危险的消息。党组织为了保护奋发有为、赤胆忠心的聂耳，同时考虑到他渴望得到进一步深造的要求，决定让他出国去日本，然后去苏联和欧洲其他国家学习、考察。
1935年4月15日，聂耳登上了日本轮船“长崎丸”。4月16日到达日本长崎。17日又到了神户，后从大阪乘车于4月18日抵东京。
出国前，聂耳就制定了在日学习考察的4个“3月计划”：第一个“3月计划”重点是突破语言关，同时进行大量的社会调查，结识日本文化界的进步人士，加强与本国左翼留日学生的联系，为开拓无产阶级的文艺阵地而努力。第二个“3月计划”是在坚持各项活动的同时，努力提高读书能力，加紧音乐技术修养，直到离开日本。第三个“3月计划”是开始翻译练习和进行音乐创作实践。第四个“3月计划”是开始学习俄文，整理已创作的作品，为欧洲之行作准备。他的英语基础较好，这为他去法国、意大利等国学习考察提供了方便。
聂耳初到日本时，白天忙于听课，从事各种社会活动，晚上抓紧时间进行《义勇军进行曲》和《新女性》组曲的修改定稿工作。5月初，他把《义勇军进行曲》的定稿寄回了国内。
除了学习日语外，聂耳参加了许多有关日本文艺活动的观摩和考察。他曾多次去观赏歌剧、话剧、舞剧及音乐会的演出。还参观了不少剧场和电影制片厂。他把自己的观感写成文章寄回国发表在国内的电影音乐刊物上。
1935年6月2日，聂耳出席了在东京中华青年会馆举行的第五次留日学生艺术聚餐会，应邀作了题为《最近中国音乐界的总检讨》的讲演，历时两个多小时。他还演唱了《大路歌》、《开路先锋》、《码头工人》和《义勇军进行曲》。他的演说和演唱，深深打动了与会的中国留学生，他们说，聂耳不仅是一个进步的音乐家，还是一个演说家和社会活动家。
在短短的时间里，聂耳结识了秋田雨雀、滨田实弘等日本文学艺术界的进步人士，通过他们与新协剧团、新筑地剧团等文艺团体建立了联系，观看了他们的排练和演出。
为了更直接地了解日本剧团的演出情况，聂耳应邀参加了新协剧团去大阪、神户、京都等地的旅行公演。为此，他没有和绝大部分中国留学生一起去房州海滨避暑度假，而是通过新协剧团照明部主任李相南这位朝鲜友人的介绍，到了神奈川县藤泽市鹄沼海滨去洗海水浴，还准备登临富士山，然后赶到大阪与新协剧团的大队人马会合，参加演出。
聂耳和李相南到藤泽市后，住在日本友人家里，他们几乎每天都去鹄沼海滨游泳。
7月16日，是聂耳第一个“3月计划”完成的日子。他在日记中写道：“日语会话和看书能力的确是进步了，听了很多音乐演出，练小提琴的时间也比在国内多，提前实现了第一个‘3月计划’。”
正当聂耳满怀信心地准备进入第二个“3月计划”的时候，不幸的事情发生了。1935年7月17日，聂耳和朝鲜朋友李相南等4人一同去鹄沼海滨游泳，汹涌的海浪无情地夺去了聂耳年轻的生命。中国无产阶级音乐的先驱，天才的人民音乐家聂耳，逝世时年仅23岁。
噩耗传来，全国人民表示了极大的悲痛和哀悼。8月16日，上海各界人士举行隆重的追悼大会，很多群众都自发地参加了悼念活动。人们唱着《义勇军进行曲》，以此来追思这位年轻的音乐家。
郭沫若在悼聂耳诗中写道：“大众都爱你的新声，大众正赖你去唤醒。聂耳呀，我们的乐手，你永在大众中高奏，我们在战取着明天，作为你音乐报酬！”
著名音乐家冼星海曾说：“我们要纪念他（聂耳）是我们民族的一个伟人——代表时代，代表我们民族发出反抗的呼声的、一个永远不灭的伟人！”
日本进步戏剧家、聂耳生前友人秋田雨雀指出：“他（聂耳）不仅是中国无产阶级音乐的先驱者，而且是亚洲解放之声的号手。”
曾与聂耳共同工作、战斗过的革命艺术家孙师毅在痛悼聂耳逝世时写道：“你能说聂耳非天才么？他没有步入过学院的门一步；你能说聂耳不努力么？他没有浪费过他的时间一分。如果他在音乐上有什么成就的话，什么都是他自己在短促的近24年的生活中，一点一滴获取来的。知道他和不知道他的——只要没有成见的人，谁不对他怀着至高的期望？这期望像琉璃坠地似的，而今都碎了！在整理他的遗著发表的这风雨的今宵，我回首前尘，怎么不凄惶而垂泪呢！”
1935年8月底，聂耳的骨灰和遗物由同乡好友张鹤（张天虚）、郑子平护送回上海。1936年由聂耳的三哥聂叙伦迎取回乡。1937年10月1日安葬在昆明西郊面对滇池的西山森林公园碧鸡山旁。解放后的1954年，云南省文化局在原地重建了聂耳墓，郭沫若亲笔题写了碑文：“聂耳同志，中国革命之号角，人民解放之鼙（p0）鼓也。”
同年，日本的友好人士和团体，在聂耳遇难的鹄沼海滨修建了聂耳纪念碑。几年后，藤泽市人民组建了聂耳纪念碑保存会。1965年重建了被海啸冲毁的聂耳纪念碑，并规定每年的7月17日为“聂耳祭”的日子。
1980年，昆明人民政府在西山扩大、重修了聂耳墓，前往吊唁的中外人士络绎不绝。
1964年5月1日，朱德同志为聂耳亲笔题辞“人民的音乐家”。1985年，胡耀邦同志也为聂耳题辞“人民音乐家聂耳”。
在纪念聂耳逝世3周年之际，《新华日报》载文道：
“聂耳先生的歌曲能够有百万人传颂至今而不厌，决不是偶然的事。那就是倘若聂耳先生的歌不能代表中华民族的吼声，不能代表千百万被压迫者反抗的呼声，那末他的歌早已就无人过问了。——因为聂耳先生已认清了并且把握住音乐的政治性与战斗性，而同时更能从工作的实践中去体验被压迫大众、被压迫民族的呼声，且将那些无数的呼喊，通过了他的政治头脑与艺术手腕，组成一种巨雷似的音响。”
夏衍先生在聂耳逝世20周年的纪念文章《永生的海燕》中写道：
“他真像暴风雨前的一只海燕，骤然而来，倏然而去，从1932年到1935年这短短的三、四年中，用他豪迈明快、充满信心的歌声，对亿万受难的中国人民，表达了他对革命暴风雨的预感。
“高尔基对海燕的描写完全适用于聂耳，‘在它的叫喊中，有的是对暴风雨的渴望，愤怒的力量，热情的火，和对胜利的信心。’
“聂耳的精神，聂耳创作的歌声，已经肯定地永生不朽了。”