旧中国的上海，被称为“冒险家的乐园”。它既是帝国主义、封建买办阶级和一切反动腐朽势力的大本营，同时又是一个有着光荣革命传统的城市，是中国共产党诞生、成长并进行长期艰苦卓绝斗争的摇篮。
聂耳初到上海，经济上很拮据，生活异常节俭。“云丰申庄”的经营业务只有一桩，就是从上海采购香烟邮寄到昆明销售。他们串通一个在邮局工作的股东，私下里逃过按规定应邀纳的高额的特种消费税，从中牟利。聂耳看在眼里，心中充满鄙夷。
聂耳在“云丰申庄”所干的活计实在是辛苦而又琐碎，并且乏味至极。无非是提货、包装、邮寄、记帐之类，有时还要拉板车运货。每天工作达10多个小时。起初，申庄只管食宿，连工资都不发，后来每月发给15元钱，除吃饭外，也仅够添些简单的衣服和日用品。
这个商号位于上海虹口公平路的一条弄堂里，居住条件很差，周围环境混乱嘈杂。商号里的同事成天打麻将、看电影、逛马路，聂耳对此极为看不惯。他没有虚度光阴，而是利用一切时间学习英语、日语，阅读革命文艺理论和进步书刊，苦练小提琴。他在给二哥聂子明的信里说：“二哥，请放心吧！我虽没有钱用，这是无所谓的，我只希望我的生活能随我理想的有系统。现在我每天都在自修英、日文，但时间很少，单烧火煮饭的时间就要占一大半，还要做所谓公事。不过我都尽量找时间，做自己的功夫。繁华的上海，藏污纳垢，您的弟弟早深深地感到。请您像以前一样地相信他，他决不会误入歧途的。”
即使在这样艰难困苦的条件下，聂耳仍念念不忘火热的斗争生活。8月1日，南昌起义纪念日这一天，聂耳兴奋地注视着街头，希望能看到革命群众迎接节日的游行活动。然而实际情况令他大为失望。他在1930年8月1日的日记中写道：“上海的‘八一’料想中不会怎样，因为租界已经先期严密防范。今天的报纸开始便是‘今天八一，华租界严密防范’。”
聂耳到上海仅仅两个多月，就参加了中国共产党领导下的“上海反帝大同盟”虹口区的组织，积极从事抗日游行示威等活动。
在上海时，他最喜爱的乐器是小提琴，可是靠那几个仅够个口的工钱是绝对买不起的。直到1931年2月，他替云南戏院租了几部上海影片，因而得到了100元的酬劳。他把这笔钱的一半寄给母亲，另一半买了一把廉价的小提琴和几本乐谱，这才了却了多年的心愿。
1931年3月，“云丰申庄”因漏税之事败露，受到巨额罚款后倒闭。聂耳就此失业。正当他徘徊街头，为寻找工作而四处奔走时，他无意中从报纸上发现了一则“明月歌舞剧社”招考小提琴师的广告，待遇是提供食宿，每月另发10元钱津贴。聂耳兴奋异常，这不仅可以解决眼下的温饱问题，更重要的是可以一心一意地从事他热爱的音乐事业了！
报考“明月歌舞剧社”的有100多人，经过初试、复试等严格考核，聂耳终于幸运地成为仅被录取的3人中的1个。从此，他更加勤奋刻苦地练习小提琴，每天练琴时间常在6小时以上。那一时期，他的日记中经常出现“一天的小提琴生活”的字样。功夫不负有心人，经过半年多的勤学苦练，聂耳的小提琴演奏技巧有了很大提高，成了乐队的主要小提琴手。
聂耳报考“明月歌舞剧社”时，用的是“聂紫艺”的名字。由于他有一副天生下来就十分聪敏的耳朵，又极擅长模仿别人说话的声音和腔调。有人回忆说：“从他耳朵里进去的，没有不能从他嘴里活跳出来的。”更有趣的是，聂耳可以用意念驱使他的耳朵前后上下地摆动，做出许多滑稽样子。再加上他姓聂，因此很多人都戏称他“耳朵先生”、“聂耳博士”。于是，他索性在自己姓下面加一个“耳”字，聂紫艺就正式改名为聂耳了。
1931年7月初，聂耳参加了“明月歌舞剧社”在上海北京大剧院的演出。这是聂耳第一次在上海登台表演。那几天天气很热，每天要求连演3场，大家实在有些吃不消。但他们连续演了整整4天，总共才得到6元钱的报酬。为此，聂耳在7月4日的日记中写道：“资本家的剥削，着实是无微不至啊！”“细想一下，这种残酷的生活，也不亚于那些赤膊露体的工人们大汗淋漓地在那高热的机械下苦作着。”
1931年7月10日，聂耳已离开家乡到上海谋生整整1年了。在这一天，他自我反省道：“在这一年中，我的生活虽有小小的变迁，但仍不如我计划中一年应有的进步。”他感到自已“背驰了原定的路线”，“放松了某一种中心思想的发展”，认为头等重要的事情应该是学习革命理论，用马列的思想来武装自己。他开始制定学习计划。当他开始实施这个计划时，他感到了“从没有过的愉快”。他兴奋地在日记中用英文写道，“现在的聂耳，已不是过去的聂守信！”他如饥似渴地学习了《反杜林论》等马列著作，思想上取得了很大的收获。
1931年“九·一八事变”后，日本帝国主义侵占了我国的东北三省，这给聂耳的思想以极大的震动。他敏锐地认识到：“日本帝国主义的侵略，全是有准备、有计划的。”对于当时某些舆论所谓中日之间“不过是下级警民的冲突，日政府对中国是没有一点敌意的”等论调极为不满，对当时有人把希望寄托于“国际联盟”调停的愚蠢想法更是嗤之以鼻。那时的所谓“国联”，哪里会站在中国的立场上为中国人民说话？忧国忧民的聂耳不断地听到国土沦丧的消息，“心里很不好过”，以致于“这些消息代替了早点，午饭减少了一大半”。
紧接着1932年上海爆发了“一·二八事变”。1月28日这一天，日军大举进攻上海。国民党政府仍然采取不抵抗政策，下令将有抗日要求的十九路军调离上海。由于命令尚未到达时，日军已开始发动进攻了，英勇的十九路军官兵们没有走，他们在爱国将领蔡廷锴、蒋光鼐的率领下，不顾蒋介石的禁令，奋起抗击敌人。他们顽强坚守了1个多月，毙敌万名，迫使日军三易其主帅。最后终因寡不敌众，加之国民党政府的破坏，被迫于3月1日撤退，日军随即占领了上海。
在十九路军英勇作战期间，聂耳和一切爱国的热血青年一样，积极参加了各种配合抗日斗争的活动。他曾只身一人冒着枪炮到战区拍摄照片，偷偷地将一艘日本大兵舰完整地拍摄下来。这张照片至今还保留在聂耳的日记里。这是珍贵的历史资料，也是日本帝国主义侵略中国的铁证。
上海失守了，民族危亡的严酷现实使聂耳猛醒，促使他严肃地思考自己的艺术观和应走的道路。他对自己曾一度脱离革命斗争，单纯追求音乐艺术的倾向作了无情的批判。他在“一·二八事变”发生后的第10天，即1932年2月7日，向自己提出了“怎样去做革命的音乐”的问题。他质问自己：“一天花几个钟头苦练基本练习，几年，几十年后成为一个小提琴演奏家又怎样？你演奏一曲贝多芬的《奏鸣曲》能够兴奋起、可以鼓动起劳苦群众的情绪吗？”“不对，此路不通、早些醒悟吧！你从前是怎样一个思想？现在居然如此之反动！”
就在这时，聂耳结识了当时左翼“剧联”的负责人之一著名戏剧家田汉，通过田汉与党组织取得了联系，参加了由任光、张曙、吕骥等革命音乐家组成的“苏联之友社”的音乐小组，并参加“左翼戏剧家联盟”组织的各种活动，经常为报刊杂志写电影音乐评论文章。
据田汉后来回忆，在他同聂耳的会晤中，聂耳向他谈了政治见解和艺术见解，倾吐了对共产党的仰慕和追求，表示要好好学习，把自己的一切才能都献给党。