刘贺跌跌撞撞的走出未央宫，一路上想着自己从接到诏令到如今被废的经历，想着郎中令龚遂，中尉王吉孜孜不倦的劝诫，想着自己当日何等的自大，想着大将军霍光的谋划，心中虽对大将军充满了怨恨，然也怪自己太愚蠢。
刘贺看了看身边的大将军霍光，想到若是当初他听了龚遂、王吉的劝诫，不用那和操之过急，他与霍光谁赢谁输还指不定。
想到此，刘贺面向西面的未央宫叩拜道：“我太愚蠢，不能担当汉家大业！”，当他说完这句话，头也触到被晒得滚烫地面，眼泪迅速的滑落了下来，当初进长安之时他哭的不够，所以现在该补上了。
终究因为他自己的愚蠢而一败涂地，他愧对自己，愧对自己的父亲，更加愧对刘氏列祖列宗！做为皇帝而被自己的臣子所废，没有比这更加耻辱的事了！
然后起身登上了御驾的副车，大将军霍光将他送到了长安昌邑王的官邸。
“大王的行为自绝于上天，我宁愿对不起大王，也不敢对不起社稷！希望大王自爱，我不能再常常侍奉于大王的左右了。”
大将军霍光一边流泪一边恭敬的说到，做为此次斗争的胜利者，他做到了胜利者应有的姿态。
然痛打落水狗也是人之常情，随后文武百官不知是揣摩大将军霍光的心意，还是感觉自己做了一件不光彩的事情而感到心虚，所以上书上官太后：
“古时候，被废黜之人，要放逐到远方去，使期不能再参与政事，请将昌邑王刘贺迁徙到汉中房陵县。”
虽是上书给上官太后的，处理这些的自然是大将军霍光，看到这些奏书，大将军霍光只觉得这些朝臣大有将他架到火上烤之意。
这件事，虽然刘贺确实表现的不似人君，但说到底，大将军霍光也有理亏的地方。虽然经过废帝此事，他大将军的在朝中威望又进一步得到了提升和巩固，无人能撼动。
然而副作用也是显而易见的，那便是名声，外界只怕又要多一些他大将军跋扈专权的舆论了，大将军是一个爱惜名声的人。他没有道理继续痛打落水狗，刻薄的对待也废的皇帝刘贺。如果他真这样做了，继任的皇帝会怎么想他。
经过昭帝和刘贺，大将军霍光也充分的认识到了和皇帝保持和睦的重要性，这天下毕竟是姓刘的，他的年岁已大，他不想在他死后，霍家同时遭到皇帝和群臣的清算。
至于对刘贺这个做了二十七天皇帝的忌惮，比他更忌惮的是下一任皇帝，不用他出手，下一任皇帝也会出手的，他何苦将这种恶事揽在自己身上。
于是大将军霍光借用上官太后的名义下诏，命刘贺回昌邑居住，他当昌邑王时的家财全部发还给他，其姐妹四人，各赐一千户人作做为汤沐邑，撤销昌邑国，改为山阳郡。
接下来就是找责任人，自己找来的皇帝又被自己废了，总得给天下人一个交待吧，大将军霍光是不会错的，朝臣们也是不会错的，那错的只能是昌邑群臣了。
于是昌邑群臣二百多人皆因在封国是不能举奏刘贺的罪过，使朝廷不了解真实情况，又不能加以辅佐、引导，使刘贺陷于罪恶而被诛杀。
只有中尉王吉、郎中令龚遂因忠正耿直，多次劝诫刘贺被免去死罪，剃去头发，被罚白天守城，夜晚做苦功。
刘贺之师王式因自辩虽然未曾规劝刘贺，但早晚为其刘授《诗经》三百零五篇，用《诗经》中的经义来规劝刘贺，也被免除死罪。
诏令一出，天下百姓自然相信了这个理由，只是昌邑群臣在从廷尉诏狱被押往刑场的街道上哭着喊冤，随即又有人高声喊到：“当断不断，反受其乱。”给围观的百姓曾加了一丝疑惑和无限的想象。
昌邑二百多臣子的命给了天下人一个很好的交待，同时昌邑国所有的力量也随着这二百多臣子的死而消尽。至于他们的死是否冤，冤也不冤，没有那实力，只为着自己的荣华富贵就撺掇自己的主子，最后搞得皇帝连皇位都丢了，如此死一千次都不够。
刘贺坐在回昌邑的马车上，想着自己当时来长安时的急切，又想着如今回去时的悲愤和无奈，整人个就像一个没了灵魂的木偶。
前几日刘贺还意气风发的给自己的王妃严罗敷写信，告诉她待他扫平一切，就迎她进宫为后，而如今自己却如丧家之狗一样被赶回昌邑。
他自幼丧父，从此无人管束，却可以因为昌邑王的身份，像一个自由自在的野马一样过着随心所欲的生活。然而一个多月前的深夜的那么诏书却改变了他的人生，刚开始看到那份诏书他欣喜若狂，他以为这是上天对他的垂青，却不料却是一道催命符。
从接到那封诏书起，他的人生便已经结束了，以后他虽然活着，却是一直被他人所支配。他只是被大将军霍光选择，然后又很快的被大将军霍光所抛弃。
此时他已经懂得了许多从前他不懂的道理，然已经晚了，他以后的人生只有被忌惮，被放逐。
十年以后，不出大将军霍光所料，已为帝的刘病已对刘贺这个前任仍然心存忌惮，给了当时任山阳太守的张敞一封密诏，让他监视刘贺的动向。
张敞眼中的刘贺已成了如此模样：刘贺仍然住在从前的宫中，奴婢一百八十三人，大门不开，只开小门，只有一个廉洁的差役领取钱物到街上采买，每天早上送一趟食物进去，此外不得出入。
张敞在收到宣帝诏令的两年前曾经亲自去察看过他的情况，那时才二十六岁的正值青壮年的刘贺似已进入了迟暮之年，有些痴痴呆呆，脸色很黑，小眼睛，鼻子尖而低，胡须很少，身材高大，患风湿病，行走不便。穿短衣大裤，戴着惠文冠，佩玉环，插笔在头。
张敞逐一问他子女的情况，当问到他的女儿持辔时，刘贺吓得马下跪下说：“持辔的母亲，是严长孙的女儿。”
严长孙，即严延年，其妻严罗敷之父，原任侍御史，刘贺被废后被贬为执金吾。
此时的刘贺已为惊弓之鸟，以为张敞是奉命而来，为了保住子女的命，却又不知去求谁，当年满朝文武都是他的敌人，慌乱之中只有把自己的岳父了出来。
而张敞曾与严延年有旧，不知是出于同情还是为了让宣帝留一个宽恕的名声，所以在给宣帝的奏书中，将刘贺写的异常的可怜以及痴呆。
张敞对刘贺说：“令尊昌邑哀王的歌舞宫女张等十人都没有儿女，留守在哀王的墓地，请你放她们回家吧。”
刘贺却回答说：“宫女守墓，有病的不应医治，相互打架杀伤的也不应处置，我想让她们早早死去。太守为什么要放她们走呢？”
张敞给宣帝的上书中总结说道：“可见其天性喜好走乱亡的路，到底不懂得什么叫做仁义”
然张敞是终于宣帝的，至所以上一份这样的奏书，当时刘贺也许真的是有些痴呆了或者没有什么野心了，张敞只是没有像势利之臣那样痛打落水狗而已。
看了张敞的上书，宣帝知道刘贺不足忌惮，然而还是封刘贺为封海昏侯而流放江西，同时示意其心腹之人侍中、卫尉金安上书说
“刘贺是上天抛弃的人，陛下至仁，又封为列侯。刘贺是个愚顽废弃之人，不应该奉行宗庙及入朝行朝见天子之礼。”如此便将刘贺从地理上和行为上都驱逐出政治中心。
几年以后刘扬州刺史柯奏刘贺与故太守卒史孙万世来往。
孙万世问刘贺：“从前被废时，为什么不坚守不出宫，斩大将军，却听凭别人夺去天子玺印与绶带呢？”
刘贺说：“是的。错过了机会。”
孙万世又认为刘贺将在豫章封王，不会久为列侯。
刘贺说：“将会这样，但不是应该谈论的。”
有关部门审讯核实，请求逮捕。汉宣帝诏令削去刘贺三千户食邑。
没过多长时间，刘贺逝世，终于结束了他悲剧的一生，年三十三岁。