逆鳞直谏
唐太宗早就听说魏徵的才干，便任命他为谏议大夫。
太宗求治心切，不时单独召见魏徵，在他的寝宫商议政事。魏徵感激太宗对他的特别恩遇，总是毫无保留地道出心声。由于魏徵的建议切实中肯，深合太宗的心意，不久被提升为尚书右丞（尚书省的官员），依然兼任谏议大夫，参与尚书省的政务，并监察朝政得失。
魏徵日益受到太宗的信任和器重，招来一些朝臣的嫉妒，太宗左右的亲信大臣中有人诬告魏徵包庇自己的亲戚。太宗派温彦博去查办，发现这些谣言纯属诬告。
温彦博向太宗汇报说：“魏徵作为臣子，没有处理好与朝中大臣之间的关系，因此才受到这种没有根据的毁谤，应该提醒他以后注意。”太宗便让温彦博去警告魏徵要引以为戒。
第二天，魏徵上朝对太宗奏言道：“臣听说君臣一心，叫做一体。君臣上下以诚相待，才能使国家得到治理。臣子应该大公无私，为国为民多办实事，把心思都放在了关系上，哪还有时间和精力去关心国家大事?如果朝廷上下都这样，国家的命运恐怕就岌岌可危了。”
太宗听后一惊，点了点头，说道：“朕明白了。”
魏徵叩头又说：“臣希望陛下让臣做良臣，而不要让臣做忠臣。”
太宗有些不解，问道：“忠臣和良臣有不同之处吗?”
魏徵答道：“古代尧和舜的臣子稷、契、皋陶，就是良臣；夏桀的臣子关龙逄、殷纣的臣子比干，就是忠臣。良臣本人享有美名，君主也得到光荣，子孙相传，国运无穷。忠臣遭难被杀，君主就会落得昏庸残暴的恶名，国亡家灭，所谓的忠臣就只不过是个空名罢了。这就是良臣和忠臣的区别。”
太宗听了连声赞叹。魏徵畅言道：“君主所以明智，在于能够听取各方面的意见；君主所以昏庸，是由于只听信一方面的话。古代尧、舜当政，开放四方言路，使自己能够看到各方面的事情，听到各方面的言论，当时尽管有共工和鲧这样的奸人，也没有受他们的蒙蔽；尽管有些人言行不符，也没有被他们迷惑。秦二世深居宫中，专信赵高，结果秦的统治迅速崩溃，天下人纷纷起兵造反，而他还不知道。南朝梁武帝相信朱异，侯景领兵打到京城，他还被蒙在鼓里。隋炀帝听信虞世基，天下到处起事，他一点儿也不清楚。因此说，君主能够倾听各方面的意见，奸邪之徒就无法蒙蔽，下情才能上达。”
太宗感慨道：“君主理政，事务繁多，如果一人独断，不听取臣下的意见，是不可能处理好的。君主如果有过失，大臣就应该及时进谏。”为了表彰魏徵的忠正耿直，太宗下令赐绢五百匹。
当时。唐朝大臣能够自由地上书言事，唐太宗也能够虚心地听取臣下的意见。政治清明，国富民强，出现了历史上有名的“贞观之治”。
一生节俭
魏徵不断劝谏唐太宗节俭戒奢，爱惜民力，他在生活中对自己要求更加严格。官至宰相，仍然保持非常朴素的作风，居住的房屋又旧又小，唐太宗几次要为他建造新房，都被他拒绝了。
贞观十七年（公元643年）正月，魏徵由于操劳过度，一病不起。唐太宗派人探视，并派名医诊治，见魏徵居处连一个待客的正厅都没有，下令限期为他临时建了一个客厅，还赐给魏徵素色的布被、几案、手杖等一套生活用品，以补家中之缺。
魏徵弥留之际，唐太宗亲自前往探病，询问魏徵还有什么要求。魏徵只说了一句话：“嫠不恤纬，而忧宗周之亡!”意思是寡妇不为织布的线少而发愁，只担心国家的兴亡。唐太宗听了，感动得老泪纵横。
魏徵去世后，唐太宗下令按一品官葬礼治丧。魏徵夫人辞谢说：“魏徵生前一贯勤俭节约，如果现在予以厚葬，那就违背了他生前的意愿。”唐太宗只好遵从魏徵的遗志，改为薄葬。
魏徵去世后，太宗思念不已，上朝时对大臣们说道：“以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。现在魏徵死了，朕失去了一面镜子。”