之后的一段时间里，爱因斯坦在牛津大学安顿了下来，因为密立根邀请他去帕萨迪纳定居，他感到生活还是有保障的。但是在体验过美国人的随意风格和无拘无束的热情款待之后，他感觉牛津大学这座神圣的学院会让人产生自满和愚钝的倾向。出乎他的意料之外，美国的教育改革家亚伯拉罕·弗莱克斯纳（Abraham Flexner）突然登门造访，这对他而言就像上天赐予的礼物一般，这位改革家当时正致力于在新泽西州的普林斯顿市为学者们建设一座学院，并且已经获得了班贝格百货公司继承人们的资金支持。学院的名称暂定为高等研究院，与具有反犹太倾向的普林斯顿大学相邻。虽然普林斯顿大学也是一流的学府，但是新成立的研究院与它有很大的不同，尤其是在数学研究方面。从这家研究院成立之初，亨利就是其赞助人之一，他的侄女海蒂·戈德曼也成为这所研究院最知名的学者之一。
这家研究院并非专业的教学机构，它成立的目的就是为学者们提供一个做学问的天堂，一个他们可以专心思考和研究的地方，弗莱克斯纳以铁腕的方式管理着研究院。在美国有一个基金会管理人的精英圈子，当卡内基、洛克菲勒、惠特尼等大家族遇到与慈善捐款相关的问题时都会向他们请教，弗莱克斯纳就是其中的一员。他向爱因斯坦提出了优厚的待遇，包括“经济自由”以及与其他知名科学家和数学家的合作，这些学者中也有很大一部分是因为纳粹执政而刚刚移民到美国的，同时他还保证会同时聘用爱因斯坦长期以来的搭档、数学家瓦尔特·梅耶（Walther Mayer）。但是弗莱克斯纳是一个控制欲很强的人，几乎插手了爱因斯坦所有的私人事务，他表示自己这么做是为了避免爱因斯坦过多地受到公众的影响--这对爱因斯坦而言也算是松了一口气，而且他这么做既可以保护爱因斯坦的声望，也可以保证研究院的声誉不受损害。他还不断地提醒爱因斯坦，像他这样出名的犹太人应该保持低调的作风，因为在普林斯顿这样一??很容易就会爆发论战的地方，过多的公开露面可能会引发反犹太主义浪潮。
后来爱因斯坦曾计划在一场为欧洲犹太难民筹款的慈善音乐会上演奏小提琴，得知这个消息之后，弗莱克斯纳怒气冲冲地给音乐会组织者打电话，声称如果爱因斯坦真的在音乐会上登台，他就“炒”了他。爱因斯坦也不能接受媒体采访，就算是普林斯顿的学报也不行。弗莱克斯纳扣留了外界寄给爱因斯坦的所有信件，并且代表他回绝了所有出席公共聚会的邀请，就连白宫的邀请也不例外。他对这位教授说：“唯一能保证你在美国境内绝对安全的办法就是你保持沉默，并且绝对不在公众场合露面。”
在这种管理方式下，人身自由受到了限制，与外界的联系几乎完全中断，从演讲中得到的报酬也无法自由支配，一点都不奇怪，爱因斯坦终于提出了抗议，并且对他所处的这个新环境日渐不满。在一封写给纽约的犹太神父斯蒂芬·怀斯（Stephen Wise）的信中，他把这所研究院称为“普林斯顿集中营”，他还给自己的朋友亨利·戈德曼写信，请求他代表自己干预弗莱克斯纳的管理。他知道戈德曼先生既关心研究院的利益，也关心他本人的生活境遇，因此他一定能以公平公正的态度来处理这件事，也能够代表他提出关于改善雇佣条件和待遇的请求。
其实，爱因斯坦向亨利发出请求时感觉自己就像在走钢丝一样。虽然他决心要维护自己的尊严和独立，但是也不敢自断后路，因为他需要这个职位所提供的薪水。他还有很多海外的亲戚需要依靠他的接济生活，自从他中断了与牛津大学和马德里大学的关系之后，他已经没有更多的后备经济来源了。他并不希望给研究院造成任何名誉上的伤害，并且他也十分尊重和赞同这所研究院的目标，因此他提出的方案是研究院可以从他原本就不多的4000美元年薪中扣除一大部分，并允许他到法国去工作，在那里发表自己的学术论文，而他则以访问教授的身份保持与研究院的联系。他承诺不会接受其他任何一所美国院校的邀请（很明显此时密立根还是在诚挚地邀请他），并且尽量不对政治局势发表评论，因为他明白这只会激起更多美国人的反犹太主义倾向。
在另一封邮戳时间仅相隔几天的、同样是寄给亨利的信件中，爱因斯坦显然是在得到高盛公司的律师，也就是亨利的兄弟朱利叶斯的建议之后作出了回应，这一次他并没有摆出争辩的架势。他提出愿意按照原来的合同继续留在研究院，但前提条件是弗莱克斯纳不再插手他的私人事务。他同时提出，如果研究院的“管理层”仍然认为他处理个人事务的方式不能令他们满意，或者他们之间关系不和谐，他们可以随时终止他的正式雇员身份，仅以“外部”雇员的身份留用他。但是作为他最后的请求，他提出不管是从法理上讲还是从道义上讲，研究院都应该给他一个平等的机会，让他改善与管理层之间的关系。
世事无常，世界局势的变化很快就使爱因斯坦退出研究院的威胁和亨利的干预变得无关紧要了。社会变革以前所未有的速度和力量席卷了欧洲，酝酿已久的傲慢与偏见都浮上了水面。1933年春季，亨利再次回到德国，他发现与他一年前造访时相比，德国变化非常大。在犹太人经营的百货公司门口都有全副武装、戴有纳粹十字臂章的士兵站岗。他很难预订餐馆的座位，也买不到交响乐音乐会的门票，以前很友好的咖啡店服务员和冰激凌店里的售货员现在对待他的态度都是冷淡而疏远的。那些认识多年的朋友和商业伙伴们见到他都远远地跑到街对面，为的就是避免和他谈话，虽然他手里拄着盲人的拐杖，但是路人还是对他推推搡搡。
当年4月，亨利给弟弟朱利叶斯写了一封信，完全推翻了他过去两年以来的观点。
如果要把我在这里所见、所闻、所知的事实中的哪怕只是很小的一部分告诉你的话，我也得写一本书，这不是短短一封信能说清楚的，而且由于我们都心知肚明的原因，为了这封信能寄到你手上，有很多我想说的都不能说。虽然美国的媒体为你们提供了准确的信息，但是和这里的犹太人的亲身经历相比，我只能说报纸的故事和真实的境遇还是相去甚远。这里的媒体已经完全陷入沉默，目前执政的政府已经牢牢控制了所有公众言论的通道，其恶化程度已经达到了足以威胁和恐吓任何人、任何组织的地步。
我想美国的民众，不管是犹太人还是其他人，都应该为了挽救这里的犹太人采取实际行动了，而我或许就是为数不多的能够传递这种信息的希伯来人中的一个。上千名学者、教师、教授、法官、医生被毫不留情地辞退，他们连一口面包都吃不上，更多的商人们被玩弄权术的人逼得走投无路。举例来讲，所有的药店都接到通知，不得出售犹太人工厂生产的药品，这种通知的实际后果就是所有的犹太药厂一夜之间关门歇业。所有犹太医生都被禁止进行例行的回访检查，而这使他们损失了60%～80%的正常业务。所有祖宗三代以内有犹太血统的教师都被禁止教学，他们流离失所，没有任何的养老保障。现在这里的犹太人面临精心策划的残酷现实……老年人还可以一直活下去直到自然死亡，但是年轻人不能生育，因此也就不会再有更多的犹太人。任何非犹太人如果出现一丁点的自由主义倾向也会遭到同样的境遇。我遇到来自各行各业的许多不同的人，但是所有的人都沉默寡言。
但是请你不要先入为主地认为没有人反抗这种趋势。我所遇见的所有人，包括许多非犹太教人士都对这种压迫义愤填膺。有数百万人对现在的社会趋势持反对的态度，但是迄今为止这些人没有有效的方式团结在一起。报纸不敢刊登反对的声音，厅堂馆所不敢承办会议，如果在露天场所举办集会必定会遭到血腥镇压。我感到这种趋势必定无法长久，当前的社会就是我们回归帝制的最好的桥梁。
尽管针对犹太人的攻击和禁令越来越严重，亨利还是抱有幻想，他认为总会有人揭穿纳粹的烟幕弹，德国“善良的民众”必定会站起来抨击其恶行并恢复这个社会的理智。
之后不久，大约4万名“普通市民”劫掠了公共图书馆和私人住宅，他们有组织地抢走了民众手中的大量书籍。由希特勒青年会和酒吧里的流氓组成的团伙在柏林歌剧院门口点起了火堆，把这些抢来的书籍全部焚烧殆尽。在反犹太分子沃尔夫·冯·赫尔杜夫（Wolf von Helldorff）警长带领下的柏林警察对此恶行视而不见。德国的最高当权者宣称对暴动的组织者毫不知情，美国的大部分媒体都跟随着《基督教箴言报》的论调和“电台牧师”查尔斯·考哥林（Charles Coughlin）的观点，认为此次暴乱只不过是“小小闹剧”。世界其他国家的人们都不会相信，在一个犹太人已经完全融入主流社会，外国游客都称赞其为各国经济与繁荣的楷模，国民安居乐业、丰衣足食的国家会出现如此卑劣、如此不堪入目的动乱。美国国务卿科德尔·赫尔（Cordell Hull）对未经审核的报纸的报道持十分怀疑的态度， CBS公司的威廉·夏伊勒（William Shirer）和《芝加哥论坛报》（The Chicago Tribune）的埃德蒙·泰勒（Edmund Taylor）的报道都被视为“夸大其词”和“风言风语”。美国前总统赫伯特·胡佛（Herbert Hoover）为了避免美国再次卷入欧洲的纷争，号召民众不要相信“未经证实的流言”，结果5年之后他还是被迫收回了自己当时的言论，并且对德国政府迫害犹太人的行为大加批评，但是他却没有批评当时的德国民众。