应该说在上海会议前后，林彪对杨成武是信任的，不然不会让杨成武当代总参谋长。但一个“代”字，又说明林彪对杨成武还不十分放心，想留有余地，以便进一步观察杨。仅仅几年工夫，取消的不是“代”字，而是杨成武的一切职务，杨成武被莫名其妙地打倒了。但是在“文化大革命”的特殊年代，这类事司空见惯了。有的人早晨还是座上客，晚上便成了阶下囚。
林彪要打倒杨成武的根本原因是他认为杨已经离经叛道，对他不“忠”了。
林彪记得好几件事。（参阅《杨成武回忆录》，解放军出版社）
一个是严慰冰写信检举叶群是假党员的事。林彪、叶群对此十分恐慌，急急忙忙要找人证明叶群不是假党员。林彪就想到了杨成武，他把杨成武叫来，对他说，你是总参代总长，党委书记，又是军委办公厅主任兼党委书记，又是军委常委、副秘书长，你写证明最合适了。又宣称有100多人已写了证明，包括吴法宪。杨成武很为难，他觉得自己在1960年才与叶群第一次见面，如何证明她在1936年的事情呢。他婉言提出要看看检举信和那100多份证明信后再作考虑。林彪自然拿不出，此事只好作罢。这件看似不大的事，给林彪留下很深的印记。林彪后来对人说过，从一个人身上的一滴血就可以看到一个人的全身。他给杨成武记下一笔账。
1967年春，林彪明确告诉杨成武，不要给叶剑英等老帅们送文件。杨请示周恩来后还是照送了。
最重要的是杨成武随毛泽东视察大江南北，并担任毛、周的联络员。这种特殊的身份自然引起正紧紧盯着权力顶峰的林彪的特别留意，他想从中把握毛泽东的意向。
杨成武卷入了最高层也是最复杂的政治漩涡。他甚至直接听到了毛泽东对如日中天的林彪的不满。
视察中，有一天毛泽东与杨成武坐在沙发上，谈到了“四个伟大”（指林彪为清华大学写的题词：伟大的领袖、伟大的导师、伟大的统帅、伟大的舵手毛主席万岁！万岁！万万岁！）毛泽东气愤地说：“谁封我四个官呀？我不要这四个官，我不要！”毛泽东越说越火，冒出一句：“永远健康？永远健康，还有不死的人啊！”杨成武一听这是指谁，心里再清楚不过了。
林彪也从别的渠道知道了这个情况。回京后在一次谈话中，他问杨成武：
“主席讲过我什么没有？”
杨成武回答：“没讲什么。”
但杨成武把这话向老帅们传达了。而且在总参的一次大会上，他不再喊“永远健康”的口号。这下激怒了在场的叶群。到了休息室她气急败坏地冲着杨成武喊：“杨代总长，不喊林彪永远健康没有关系，林彪的内脏都是好的！”喊罢扬长而去。类似的事情很多，叶群比林彪记得更清楚。因为她是林办的主任，有许多事情是她与杨成武直接交涉的。1966年底，因为一次文艺晚会，叶群对杨成武很是嫉恨。那次晚会中央文革碰头会的人都参加，江青也出席。杨的秘书在给林办打电话时，没有明确说江青也出席这一点，仅说是文艺晚会，并说“叶主任如果方便，请她来看戏，如果她忙，请她自己定”。叶群知道后，叫秘书问江青去不去？叶群得知江青去的消息后火冒三丈，晚会结束后，她大骂了杨成武一顿，说：“你眼里还有没有林总呢？你没有看到罗（瑞卿）、萧（向荣）下场吗？
你要走罗、萧的老路吗？小心我打断你的脊梁骨！”别看叶群是个“小人”，可在整人这个项目上却会经常动动“大手笔”，不将人置于死地决不罢休。在杨成武被打倒后，连林彪的儿子林立果也承认：“照理说，杨代总长是不会垮的，但这要看说话算数的人想不想打倒他。要想打倒，就不愁抓不到他的辫子。”
杨成武被打倒的直接导火线，是从空军党办内部引起的。当时空军党办里面有两派，一是空军党委办公室主任王飞、科长周宇驰等人为一伙，一是党委办公室副科长卫某以及吴法宪的秘书、余立金的秘书等人为一伙。双方的后台都不软，彼此不服，互相敌视。但胜利的天平总朝着王飞一伙倾斜，因为他们有林立果、也就是林彪叶群撑腰。王飞一伙先是利用卫某说过“林彪讲的‘大树底下好乘凉’不科学”这句话，说这是反对林彪的言论，因而把卫某打成现行反革命分子。接着吴法宪按照叶群旨意又把单世充关押起来。杨成武批评吴随便抓人，并要吴放人。吴法宪从来是听叶群摆布的，为空军党办内部矛盾曾经受过叶群一顿痛骂，这次叶群又把他叫到家里训了一个多小时，要他“必须顶住，千万不能后退”。事情发展到后来，成了杨成武、余立金和吴法宪的纷争了。表面上，叶群对两方面都同情与支持，实际上真正支持的是吴法宪。双方都不让步，事态越来越严重，到后来吴法宪连杨成武的电话都不接了。一次杨成武办公室主任在电话中说：“吴胖子这样无法无天，林副主席和主任不知道吗？我要求林副主席给杨代总长做主，如果杨不称职就把他撤了算啦，叫吴法宪当总长！世界上还有没有说理的地方？”这个电话也代表了杨成武的心境。林彪、叶群再也不能容忍杨成武对他们亲信的打击。
1968年3月19日下午，叶群同林彪商量后，去钓鱼台找江青，伙同江青阴谋策划打倒杨成武。江青对杨成武也早已怀恨在心了。因上海红卫兵抄家时，把江青30年代的丑闻和历史材料抄出来了，江青通过叶群叫杨成武派人去上海取回。东西取回后，杨认为事关重大，未敢擅自处理，暂时封存起来。江青大为不满。一次怀仁堂开会，她大骂杨成武，并质问杨“为什么拿回来的材料不处理，你要放长线钓大鱼吗？要钓我江青这条大鱼！”
叶群从钓鱼台回来后，又耍了一个花招。她叫林立果和一个秘书到杨成武家，代表林彪、叶群看望杨。杨当时正生病，叶群这一手并非真心，而是对杨发动突然袭击前的一种两面派手法。杨成武直到被捕前的最后一刻，也不知道林、叶在幕后策划打倒他。（详见董保存：《风起钓鱼台》，中国青年出版社）
怕沾包的叶群急忙取回送人的衣服
1968年3月22日深夜，沉睡中的杨成武和夫人赵志珍被一阵猛烈的砸门声惊醒。
“你躺着，我去看看。”
赵志珍刚一出门，就被两个荷枪实弹的军人扭住了双臂。她挣扎着大喊：
“你们是什么人？要干什么？”但没人回答她。
那年头倒是没人行凶抢劫。有人持枪上门，一定是发生了政治上的事。赵志珍预感到事情严重，“一定是冲着成武来的。”一个念头在脑海里一闪，她急中生智，冲着楼上大声喊：“快给总理打电话！”她想提醒杨成武注意。但没等她喊完，扭住她的军人就把她推下了楼。在楼下，她看到杨成武的老父亲、母亲以及孩子们都被集中在院子里，孩子们惊恐地在低声哭泣着。
其实在赵志珍被扭住喝问来者时，杨成武就已经知道事情不一般了。长期的军旅生涯让他学会了冷静。他从床上坐起来，用手捶了捶发木的双腿，接着拧开床头的灯，穿着睡衣下了床，正想开门出去看个究竟，门被哐地一声闯开了，两个人一前一后冲了进来。杨成武定睛一看，都不陌生，是他现在的两位部下。在先的是后勤部长邱会作，随后的是海军政委李作鹏。“竟然是他们俩。”杨成武心中已明白八九分。
杨成武被押到了人民大会堂福建厅，在那里林彪及中央文革及军委办事组的二三十个人早已等候多时。杨成武被押进来后，林彪嘶哑着嗓子宣布开会，并立即宣读了杨成武的“罪名”，宣布撤销杨成武代总参谋长的职务。当晚，杨成武被用一架飞机押送到了武汉东湖宾馆的地下冷库里监禁起来。
杨成武被押走以后，赵志珍也被押到了军委办公厅阴森的地下室。在粗暴的喝骂声和扭打中，赵志珍只说了一句话：“杨成武有什么罪，我不知道。”
经过五天四夜的连续审讯之后，受林彪操纵的职业批斗家们一无所获。经叶群授意，赵志珍连同她的家人共10人最终被关押在洛阳龙门山的香山寺里。
杨成武一家先后被整死了三口人。
在3月24日的万人大会上，林彪在讲话中特别提到“杨成武的错误主要是山头主义、宗派主义”，又说了一通晋察冀只是解放军的一部分，意思是说杨成武在搞“晋察冀山头主义”。林彪讲话以后，康生接着讲话说：“我相信杨成武的背后还有后台的，还有黑后台的。”矛头很明显是指向晋察冀最高领导聂荣臻元帅了。
开会那天聂荣臻住在西山。因为3月8日他的心脏病突然发作，而且是最严重的一次，抢救了60多个小时才恢复正常，但仍需卧床休息。林彪处打了三次电话，让他去参加大会，他说身体实在不行，只能请假。会后叶剑英告诉他，会上林彪一伙作了精心安排。李富春、李先念、陈毅、徐向前、叶剑英等都是政治局委员，但统统不准在主席台上就座，一律坐在台下。很明显，那是表示台下的这些人有问题，是属于可以冲击的对象。不久，果然在社会上掀起一股要把上述同志打倒的邪风。
从4月1日起，应该发给聂荣臻等人的一些文件、电报都停发了。聂荣臻对秘书说：“不管他，文件他们爱发不发。‘杨余傅事件’究竟是怎么回事，我还弄不清楚，我也不知道谁是‘黑后台’！”
4月6日，聂荣臻给叶群打电话问：“你们说的黑后台究竟指的是谁？”
叶群在电话里说：“并没有点名嘛。”
当时社会上“炮轰聂荣臻”轰得很厉害。叶群的意思是不说自明：外面不是在轰嘛，反正轰谁谁就是黑后台。
4月16日，聂荣臻身体好些，就到林彪那里去了一趟。他问林彪：“杨成武究竟有什么问题？为什么要把他打倒？”
因为林彪在历史上与聂荣臻共过事，平时聂荣臻也对林彪表示尊重，所以林彪不好不回答，又支支吾吾，勉强地说：“杨成武不到我这里来。”
聂荣臻听出他的意思是杨成武不大听话了，就说：“他不到你这里来，你是副主席嘛，打个电话他不就来了！”然而事情却远没有那么简单。怕沾包的叶群急忙让秘书讨回送人的衣服。就在3月22日深夜，叶群从人民大会堂给毛家湾打电话，对张秘书说：“我正在一组这里开会，会议已决定对杨成武采取必要措施。我想托你办件事，你能办吗？”
“什么事？”张云生问。
“我想托你到丁×家去一趟。”叶群声音不像以往那样高，好像怕别人听见。
“前些天，我送给了她一套黄呢料衣服。她和杨家的关系很好。现在杨家出事了，我那套衣服留在那里不太好。我想把它要回来，你能不能去一趟？”
张云生知道，丁×平时既和赵志珍过往甚密，也和叶群有些来往。叶群为了拉拢丁×，特意给了她一套衣服。现在政治行情变了，叶群怕沾包，急着又要往回要衣服，实在是不近人情。
“这很难办。”张云生说，“主任已经把东西给了人家，我怎么说得出口把它要回来呢？”
“你不要为难，这很好办。你去对她说，我前些天给她的那套衣服，式样很好，我想再看看。这样她就不好意思不给你。她也不会多心。”
“再说，现在已经很晚了。”张云生看了看手表：“都12点多了，丁×早就休息了，明天再说不行吗？”
“明天就晚了，”叶群有些不耐烦。“现在你就去，不要拖。丁×是个夜猫子，这个时候不会睡觉。不和你嗦了，我还得去开会呢！有什么困难你和老郭商量一下……”不容张秘书再说，叶群就把电话挂了。
郭秘书就在旁边，听完张云生说的事情，眉头都皱紧了：“主任什么事都能干得出来！堂堂统帅夫人，林办主任，中央文革碰头会成员，竟能干这种丢人的事！”
张云生不想去。
郭连凯劝他：“不去还不行。主任的为人你还不知道？你不去，她就会作你的文章。大人物都怕她，咱们这些小人物还能受得了？去就去吧，丢她的脸与咱们工作人员何干！”
张云生觉得郭连凯的话也有道理，就给丁×家里打电话，好在她并未休息，张云生就按叶群编的一套讲了一遍，把衣服“借”了回来。说是借回来，从此再也没有归还丁家。（见张云生：《毛家湾纪实——林彪秘书回忆录》，春秋出版社）
余立金在不知不觉中“得罪”了叶群和吴法宪
再说“杨余傅”事件中的余立金。
他的遭遇与杨成武有相同之处。
也是那次毛泽东巡视大江南北时，毛泽东的随行班子除杨成武外，还有海军政委李作鹏，空军政委余立金。毛泽东到各处都有谈话，听了毛泽东谈话后，他们就和秘书一起凑，连夜整理出文字材料。为了保密，传达毛泽东的讲话不用电报，也不用电话，而是由信使坐飞机往北京送，直接送到总理那里。信使不是一般的信使，空军政委余立金就来来往往飞了好几次北京。吴法宪的消息灵通，他是司令员，和余立金都住在空军大院里，余立金的后门就是吴法宪家的前门，近得不能再近了。几乎每次余立金刚进家门，吴法宪就到了。吴法宪希望拿到最新的消息好向林彪献宝。
“主席有什么新的精神？”吴法宪往沙发上一坐就开始发问。
余立金是个组织纪律性很强的人，他说：“我只是给总理送材料，别的我不知道。”
吴法宪说：“我们很希望及时听到最高指示啊。”
余立金说：“还是等传达吧。”
吴法宪一脸不高兴地走了。
不一会儿，吴法宪把电话打了过来，说空军常委都集合好了，要余立金给空军常委传达一下，大家都想早一点知道主席的最新指示。不料，余立金还是坚持：“请司令员给大家解释一下，有新精神会按组织传达给大家的。”
吴法宪被堵了回去，并不甘心，一会儿又打来电话，说林办叶主任请他去谈谈，车已经准备好了。
余立金仍然坚持：“如果让我汇报，我可以去汇报。我确实没有跟叶主任汇报的任务，这是有组织纪律的。”
这可把吴法宪气坏了。平时在人们的印象中，他是个和事佬，没脾气的人。
可这下他真的火了，把听筒重重地摔在了电话机上，呼哧呼哧干喘气。
在空军大院，余立金和吴法宪住前后院。余立金刚刚躺下，吴法宪又打来电话：“余政委，你还是到我这里来一趟，我们谈一谈。”余立金没办法，只好起来，走出自己住的小院。远远就看见路灯下停着一辆黑色轿车。走到近前，才见吴法宪站在车旁。“走吧。”吴法宪说。
“去哪里？”余立金问。
“你不给空军党委常委汇报，给林副主席汇报总是应该的吧。”至此，吴法宪暴露出他的目的，为林彪打探情报。给林副主席汇报？余立金在脑子里打起问号。林彪是第二号人物，去不去？吴法宪见此情景，又说：“刚才我和叶主任通过电话，她说要我陪你去给林副主席汇报。”想着周总理的嘱咐，余立金说：
“上面规定了，不向任何人汇报。”“你对林副主席是什么态度？叫你去汇报都不去！”
余立金变换口气说：“毛主席那里不让汇报，我们得按毛主席、周总理指示去办。还是不汇报为好。”吴法宪见抬出毛泽东、周总理，就说：“你看着办。
反正叶主任叫你去。”说完，吴法宪钻进车里，一溜烟跑了。后来叶群和林彪知道了这件事，对余立金的看法可想而知。
余立金不同意对贺龙的做法也使林彪耿耿于怀。余立金曾经在红二方面军呆过，是贺龙的老部下。
一波未平，一波又起。1968年3月初，吴法宪等人利用余立金秘书和杨成武女儿的关系大做文章。