按照极左分子的逻辑，毛泽东是应该接受“大树特树”、“绝对权威”这类词的，因为“文革”本身不亚于一场造神运动。可是毛泽东不但不接受，反而对此十分讨嫌，这连陈伯达和姚文元都始料不及，林彪也如此。对他们来说，这好比是给毛主席捧上了一碗“参茸汤”，可毛泽东不但没喝，而且连碗也摔碎了。于是，那些居心叵测的人们赶紧洗刷沾在自己身上的汤汁。在“杨余傅”事件发生后，“大树特树”和“绝对权威”就成了杨成武的“代名词”了，罪名都加在他一人头上。在人民大会堂开万人大会时，陈伯达将自己洗刷得干干净净：他说“这篇文章，我根本没看，搁在我的床底下，压了一个多月。这样的文章，居然能发表……这篇文章其实是要大树特树杨成武的绝对权威，在军事单位中要大树特树杨成武的绝对领导”；康生、江青也都是一个腔调：“什么大树特树，违反马克思主义的嘛！杨成武懂什么……此人似乎对马克思主义毫无所知……这篇文章，实际上是想树他自己的绝对权威。”
林彪更是添油加醋：“还有那个大树特树绝对权威的文章，他拼命活动要登，后来登在《人民日报》二版上，他还不满意。那个第一版上当天登的是毛主席的教育指示，他认为他的文章还应该登在毛主席的前面，要占第一版。”
不过从林彪发言中“还有”两个字，人们知道，这还不是杨成武“罪行”的全部。更不是所谓“杨余傅”事件的全部。
应该说在上海会议前后，林彪对杨成武是信任的，不然不会让杨成武当代总参谋长。但一个“代”字，又说明林彪对杨成武还不十分放心，想留有余地，以便进一步观察杨。仅仅几年工夫，取消的不是“代”字，而是杨成武的一切职务，杨成武被莫名其妙地打倒了。但是在“文化大革命”的特殊年代，这类事司空见惯了。有的人早晨还是座上客，晚上便成了阶下囚。
林彪要打倒杨成武的根本原因是他认为杨已经离经叛道，对他不“忠”了。林彪记得好几件事。（参阅《杨成武回忆录》，解放军出版社）
一个是严慰冰写信检举叶群是假党员的事。林彪、叶群对此十分恐慌，急急忙忙要找人证明叶群不是假党员。林彪就想到了杨成武，他把杨成武叫来，对他说，你是总参代总长，党委书记，又是军委办公厅主任兼党委书记，又是军委常委、副秘书长，你写证明最合适了。又宣称有100多人已写了证明，包括吴法宪。杨成武很为难，他觉得自己在1960年才与叶群第一次见面，如何证明她在1936年的事情呢。他婉言提出要看看检举信和那100多份证明信后再作考虑。林彪自然拿不出，此事只好作罢。这件看似不大的事，给林彪留下很深的印记。林彪后来对人说过，从一个人身上的一滴血就可以看到一个人的全身。他给杨成武记下一笔账。
1967年春，林彪明确告诉杨成武，不要给叶剑英等老帅们送文件。杨请示周恩来后还是照送了。
最重要的是杨成武随毛泽东视察大江南北，并担任毛、周的联络员。这种特殊的身份自然引起正紧紧盯着权力顶峰的林彪的特别留意，他想从中把握毛泽东的意向。
杨成武卷入了最高层也是最复杂的政治漩涡。他甚至直接听到了毛泽东对如日中天的林彪的不满。
视察中，有一天毛泽东与杨成武坐在沙发上，谈到了“四个伟大”（指林彪为清华大学写的题词：伟大的领袖、伟大的导师、伟大的统帅、伟大的舵手毛主席万岁！万岁！万万岁！）毛泽东气愤地说：“谁封我四个官呀？我不要这四个官，我不要！”毛泽东越说越火，冒出一句：“永远健康？永远健康，还有不死的人啊！”杨成武一听这是指谁，心里再清楚不过了。
林彪也从别的渠道知道了这个情况。回京后在一次谈话中，他问杨成武：“主席讲过我什么没有？”
杨成武回答：“没讲什么。”
但杨成武把这话向老帅们传达了。而且在总参的一次大会上，他不再喊“永远健康”的口号。这下激怒了在场的叶群。到了休息室她气急败坏地冲着杨成武喊：“杨代总长，不喊林彪永远健康没有关系，林彪的内脏都是好的！”喊罢扬长而去。类似的事情很多，叶群比林彪记得更清楚。因为她是林办的主任，有许多事情是她与杨成武直接交涉的。1966年底，因为一次文艺晚会，叶群对杨成武很是嫉恨。那次晚会中央文革碰头会的人都参加，江青也出席。杨的秘书在给林办打电话时，没有明确说江青也出席这一点，仅说是文艺晚会，并说“叶主任如果方便，请她来看戏，如果她忙，请她自己定”。叶群知道后，叫秘书问江青去不去？叶群得知江青去的消息后火冒三丈，晚会结束后，她大骂了杨成武一顿，说：“你眼里还有没有林总呢？你没有看到罗（瑞卿）、萧（向荣）下场吗？你要走罗、萧的老路吗？小心我打断你的脊梁骨！”别看叶群是个“小人”，可在整人这个项目上却会经常动动“大手笔”，不将人置于死地决不罢休。在杨成武被打倒后，连林彪的儿子林立果也承认：“照理说，杨代总长是不会垮的，但这要看说话算数的人想不想打倒他。要想打倒，就不愁抓不到他的辫子。”
杨成武被打倒的直接导火线，是从空军党办内部引起的。当时空军党办里面有两派，一是空军党委办公室主任王飞、科长周宇驰等人为一伙，一是党委办公室副科长卫某以及吴法宪的秘书、余立金的秘书等人为一伙。双方的后台都不软，彼此不服，互相敌视。但胜利的天平总朝着王飞一伙倾斜，因为他们有林立果、也就是林彪叶群撑腰。王飞一伙先是利用卫某说过“林彪讲的‘大树底下好乘凉’不科学”这句话，说这是反对林彪的言论，因而把卫某打成现行反革命分子。接着吴法宪按照叶群旨意又把单世充关押起来。杨成武批评吴随便抓人，并要吴放人。吴法宪从来是听叶群摆布的，为空军党办内部矛盾曾经受过叶群一顿痛骂，这次叶群又把他叫到家里训了一个多小时，要他“必须顶住，千万不能后退”。事情发展到后来，成了杨成武、余立金和吴法宪的纷争了。表面上，叶群对两方面都同情与支持，实际上真正支持的是吴法宪。双方都不让步，事态越来越严重，到后来吴法宪连杨成武的电话都不接了。一次杨成武办公室主任在电话中说：“吴胖子这样无法无天，林副主席和主任不知道吗？我要求林副主席给杨代总长做主，如果杨不称职就把他撤了算啦，叫吴法宪当总长！世界上还有没有说理的地方？”这个电话也代表了杨成武的心境。林彪、叶群再也不能容忍杨成武对他们亲信的打击。
1968年3月19日下午，叶群同林彪商量后，去钓鱼台找江青，伙同江青阴谋策划打倒杨成武。江青对杨成武也早已怀恨在心了。因上海红卫兵抄家时，把江青30年代的丑闻和历史材料抄出来了，江青通过叶群叫杨成武派人去上海取回。东西取回后，杨认为事关重大，未敢擅自处理，暂时封存起来。江青大为不满。一次怀仁堂开会，她大骂杨成武，并质问杨“为什么拿回来的材料不处理，你要放长线钓大鱼吗？要钓我江青这条大鱼！”
叶群从钓鱼台回来后，又耍了一个花招。她叫林立果和一个秘书到杨成武家，代表林彪、叶群看望杨。杨当时正生病，叶群这一手并非真心，而是对杨发动突然袭击前的一种两面派手法。杨成武直到被捕前的最后一刻，也不知道林、叶在幕后策划打倒他。（详见董保存：《风起钓鱼台》，中国青年出版社）