其实，维也纳对贝多芬从未有过好感。
这座城市是浮夸而轻佻的，在这样一个城市中，狂傲不羁、清高自傲的天才是不被接纳的。贝多芬深知这一点，所以一直想离开维也纳。
1808年前后，贝多芬曾多次考虑过是否离开奥地利，是否要前往威斯特伐利亚国王热罗姆·波拿巴的皇宫。但是，维也纳即便再轻佻，也是欧洲的音乐圣地。在这里，有一大批懂音乐的人，他们不愿意让自己的国家失去贝多芬这样伟大的音乐家。
1809年，维也纳的三位最富有的贵族——贝多芬的学生太子鲁道夫，亲王洛布科维兹和亲王金斯基——许诺给贝多芬每年四千杜加的生活费，只要他愿意继续留在奥地利。他们说道：“一个人只有在不为经济烦恼时，才能将整个身心献给艺术，才能创作出崇高而伟大的作品，为艺术增光，这是显而易见的事情。因此，我们决定给路德维希·凡·贝多芬充足的物质保障，避免经济问题埋没掉他的才华。”
然而，这个诺言并没有兑现。他们不仅没有支付承诺的生活费，甚至在不久后，这笔钱就完全停止发放了。此外，维也纳的社会风气也从1814年起来了个大变样，人们开始轻视艺术，追逐政治。在这座昔日的音乐之城里，已经没有了音乐的品位，贝多芬也从最初的被追捧，到现在被当作迂腐的象征。人们的偶像，从贝多芬变成了罗西尼。
1816年，罗西尼的歌剧《唐克雷迪》让当时的德国震惊了。正如鲍恩费尔德所说：“贝多芬和莫扎特都是老学究了，只有荒唐的上一代才会喜欢他们。直到罗西尼出现，大家才知道什么是旋律。《费黛里奥》（贝多芬根据包亚利的同名剧本改编的一部歌剧）完全就是垃圾，真搞不懂人们为什么会不厌其烦地听它。”
那时的贝多芬不但被维也纳遗弃，而且他的朋友与保护人也先后或离开，或去世：1812年，金斯基亲王去世；1814年，李希诺夫斯基亲王去世；1816年，洛布科维兹亲王去世；1815年，受到贝多芬题赠作品第五十九号的《美丽的四重奏》的拉苏莫夫斯基，举办了自己的最后一场音乐会；1815年，贝多芬与童年好友埃莱奥诺雷的哥哥斯特凡·冯·布罗伊宁决裂；1815年，贝多芬的兄弟卡尔去世……
1816年，贝多芬给安东尼·布伦塔诺写信道：“他如此珍爱生命，但我如此愿意舍弃生命。”从此，他成了孤独的人。在这一时期，贝多芬唯一的朋友是玛丽亚·冯·埃尔德迪，他和玛丽亚友谊非常深厚。然而，玛丽亚与贝多芬一样，都患有不治之症，且这一年，她的独生子又暴病去世。在这一年，贝多芬无比伤心地写道：“没有了朋友，我只能孤零零地活在世上。”
此时，他的耳朵完全聋了，而且身体一天不如一天。从1816年10月开始，贝多芬就患上了重伤风。1817年夏天，医生诊断出贝多芬患有肺病，到了1820年，贝多芬患上了严重的关节炎，1821年患上黄热病，1823年又患上了结膜炎。而且，从1815年开始，贝多芬就只能通过笔谈与人交流了。
最早的谈话手册是1816年的，而且，从这一年开始，贝多芬的音乐风格发生了改变。代表作是第一〇一号《奏鸣曲》。贝多芬好友辛德勒记述了一段在1822年《费黛里奥》预奏会时的经过：
“贝多芬要求亲自指挥最后一次彩排……从第一幕的二部唱起，显而易见的是，他肯定不会听到台上歌唱的声音。他将乐曲的节奏拖延了很多，乐队不得不跟着贝多芬的指挥棒进行演奏，而台上的歌手却自顾自地按照原来的节奏向前进行，这造成的结果是——全乱套了。像往常一样，乐队的指挥手乌姆劳夫并没有说明乱套的原因，只是提议大家休息一会儿，并跟歌手交谈了几句后，大家重新开始彩排。然而，同样的混乱又发生了一次，大家不得不再休息一回。可见，彩排在贝多芬的指挥下肯定是无法进行的，但怎样才能让他明白这一点呢？在场的所有人里，没有一个人能狠下心对他说：‘走吧！你这个可怜虫，你无法指挥我们了。’在这样的气氛下，贝多芬开始不安起来，他东张西望地试图从混乱之中猜出原因，可大家都默不作声。突然，贝多芬用一种命令的口吻呼唤我，当我走近时，他将自己的谈话手册递给我，示意让我把原因写下来。于是，我便如实写道：‘恳求您，不要再继续指挥了，等我回去再告诉您理由。’于是，贝多芬从台上跳下来对我嚷道：‘快走。’他一口气跑回家里，进去后，便一动不动地倒在床上，然后用双手捧着他的脸。这种姿势一直保持到吃晚饭，即便在用餐时，他也是一言不发，只是默默地保持着痛苦的表情。晚饭以后，我想同贝多芬告别，但他挽留我，告诉我他不愿意自己待在家中。于是，他请我陪他去看医生，那位医生是看耳科出名的……在我同贝多芬交往过程中，没有哪天能跟这一天相比。是的，贝多芬心理受了伤，甚至在他死前，都不曾忘记这可怕的一天。”
两年以后，1824年5月7日，贝多芬“指挥”了《合唱交响曲》，即《第九交响曲》。到最后一刻，他也没能听到全场热烈的掌声，他甚至没察觉到这一切已经结束，直到一位女歌唱演员牵着他的手，让他面对观众时，他才看见全场观众都站起身来，对他一边鼓掌，一边挥舞着帽子。
一位名叫罗素的英国游历家，正好在1825年时看到过贝多芬弹钢琴。根据罗素的见闻，当贝多芬要表达温柔时，琴键不曾发声。就在这寂静中，他神情非常激动，脸部和手指都抽搐起来，令人十分动容。
从这时起，贝多芬开始与世隔绝，他开始生活在自己的内心世界中，仿佛只有大自然才能给他些许慰藉。特雷泽·布伦瑞克说道：“自然是贝多芬唯一的知己。”
诚如特雷泽所说，自然成了贝多芬的庇护所。1815年与贝多芬成为知己的查理·纳德也说，自己从未见过一个人能像贝多芬一样喜爱花草、树木、云朵和自然……他似乎就是靠自然生存的。
贝多芬很喜欢动物，他怜悯它们。著名史学家弗里梅尔的母亲很讨厌贝多芬，就因为贝多芬在她儿时捕捉蝴蝶时，用手帕将蝴蝶赶开了。贝多芬写道：“世界上再没有像我这样的人，能这般喜爱田野……我爱一棵树，甚于爱一个人……”
在维也纳时，贝多芬每天都要沿着城墙绕一个圈；在乡间，贝多芬可以独自在外面散步，从黎明到黑夜。他不戴帽子，顶着骄阳，冒着风雨。
“万能的上帝——在这些树林里，在这些山岗上，一片静谧——供你役使的静谧。”
他精神上的创伤，在自然中获得了些许安慰，但他却被贫困折磨得疲惫不堪。在维也纳的35年间，他不得不因为经济问题迁居了30次。
1818年，他在笔记中写道：“我差不多到了要饭吃的地步，然而，我却不得不伪装成自己还在过正常日子的样子。作品第一〇六号的《奏鸣曲》是在紧急情况写下的，因为要用音乐来换取面包实在是件痛苦的事。”
路德维希·施波尔说道：“他往往不能出门，因为他的靴子破了，而且还欠了出版商一大笔债，自己的作品也卖不出价钱。”在《D调弥撒曲》发售预约时，贝多芬只有7位预约者，而且，这7人都不是音乐家。
贝多芬写信给凯鲁比尼，在同时代的人里，贝多芬最为敬重的就是他。然而，凯鲁比尼却对贝多芬的书信置之不理。凯鲁比尼是意大利人，也是巴黎音乐学院院长，在音乐界是个举足轻重的人物，然而，他却不愿意帮贝多芬一把。
当时，他写了很多美妙的奏鸣曲，且每首曲子都花费了他3个月的时间，但这些曲子只给他赚了三四十杜加。加利钦亲王要他制作四重奏（作品第一二七、一三〇、一三二号），这四重奏几乎是贝多芬用血泪写就的。结果，他一分钱都不曾拿到手。
日常的贫困，无尽的诉讼，还有夺取侄儿的监护权，这些事情将贝多芬精力消耗殆尽。其中，最让贝多芬难过的就是侄儿的监护权。