敢犯人主颜
贞观三年（629）二月，魏征以秘书监参预朝政，当了宰相。贞观七年又改任魏征为侍中，侍中是门下省长官，更是当然的宰相。贞观十年（636）六月，魏征屡以目疾请为散官，散官是没有实际职务的官员，太宗不得已，以魏征为特进，其实还是在宰相位上，只不过没有那么多繁杂事务。直到贞观十六年（642）九月，才罢相为太子太师。
贞观之初，唐朝君臣之间曾发生如何治国的讨论。唐太宗认为，大动乱之后，很难把百姓教化好，而魏征对此却持乐观态度。他认为，大乱之后，百姓对治理的要求，就如同饿极了人求食一样。唐太宗对魏征的话有点怀疑，他说，古人云，贤明的人治理国家，也要百年才有成果。魏征回答说，这是指平常人说的，如果是英明的君主，一年就可取得成功，三年才得成绩已经不算早了。而宰相封德彝认为魏征蛊惑君心。他指出，夏商周三代以后，人心变得浮荡奸诈，秦用严刑峻法，汉施仁义、刑律两手，都未能取得成功。如果听信魏征的话，国家必然大乱。魏征针锋相对，以历史事实驳斥了封德彝的人心不古的议论，说如果人心越来越奸诈，那么到今天人就都变成鬼，还能谈什么教化？魏征的这一番话，把封德彝说得哑口无言，无言以对。而对唐太宗说来，却坚定了他大治天下的决心。
在具体政策及措施的做法上，朝臣们也各执一词。有人要太宗“独运威权”，有人建议太宗“震耀威武，征讨四夷”。而魏征建议唐太宗应“偃革兴文，布德施惠，中国既安，四夷即服”。魏征的治国方针是把重点放在国家的恢复和建设上，使百姓安居乐业，使唐王朝长治久安，而要使国家长治久安，魏征认为，必须“抚民以静”。他以隋朝和贞观初期相比，隋初的仓凛、户口、甲兵都比唐初又多又强，但是，“隋以富强动之而危，我以寡弱静之而安”。魏征此处所说的“静”，就是使百姓得以休养生息，安居乐业，而并非对百姓没有任何役使和盘剥，而是动之以时，适度而已，而不像隋炀帝那样，“虐用其民”，“诛求不已”，使老百姓无法生活，最后只能揭竿而起。唐太宗是个贤明的君主，他把“抚民以静”作为基本国策确定下来。贞观二年（628），他就说：“凡事皆须务本。国以人为本，人以衣食为本，凡营衣食，以不失时为本；如果要不失时，只有君主简静才能得到。”唐太宗的“抚民以静”思想和魏征不谋而合，君臣一心，使“抚民以静”的方针得到了很好的贯彻。
“抚民以静”的具体做法就是：必须减轻摇役。繁重的摇役，必须侵占农时，耗费大量的劳力。魏征常常提醒唐太宗勿搅民扰民。一次，唐太宗要巡游南山，一切都准备好了，但好久不见出发的动静。魏征为此询问唐太宗。唐太宗告诉魏征，原先是有这种打算的，因为怕你怪罪，故中止了。贞观初期唐太宗虚心纳谏，躬行节俭，以省民力。公元632年，唐朝经济好转，国泰民安。文武官员再次请唐太宗封禅，也就是到泰山祭天，表示对天的敬畏。魏征却竭力反对封禅，他说：“兴师动众，远行千里，必然会财尽民劳。”经魏征这么一讲，唐太宗的封禅之举也就停止了。
身为宰相，魏征特别注意协调君臣关系。在魏征看来，君臣如同一体，国君是人的首脑，臣子是人的四肢；君臣一体，协调一致，才能治理好国家。他引用孟子的话说：“君视臣如手足，臣视君为腹心；君视臣如犬马，臣视君如国人；君视臣如粪土，臣视君为寇仇。”从儒家的道德观念出发，魏征认为在君臣关系上，君是主要的，起主导作用的。因而，他主张君必须以诚信待臣。
唐太宗懂得儒家君为臣纲的道理，他克己修身，崇尚节俭。但也有犯糊涂的时候，此时魏征则是犯颜直谏。贞观十一年（637），唐太宗为了个人享乐，在洛阳修建飞山宫。魏征上疏反对，他希望唐太宗以隋为鉴，吸取教训，唐太宗遂即醒悟，停修了飞山宫。
还有一次，唐太宗去洛阳，中途住显仁宫，因当地供应不周，太宗大发脾气。魏征进谏说：“陛下因供应不周而动怒，恐怕这种风气传下去。将来会弄得民不聊生。从前隋炀帝常以郡县供应多少而赏罚，所以海内叛之，结果亡国了。这是陛下亲眼所见的，为什么还要去效仿他呢？”唐太宗听了，出了一身冷汗，对魏征说：“要不是你，我是听不到这样的话的。”
贞观十三年（639），魏征因唐太宗有违克终俭约的初衷，逐渐趋于奢纵，因此向唐太宗上疏进谏，这就是历史上有名的《十渐疏》。他指出了唐太宗渐不克终者有十条。这十条的主要内容是：一、贞观之初，无为无欲，清静之化，远被遐荒。今则求骏马于万里，市珍奇于域外，取怪于道路，见轻于戎狄；二、贞观之始，视人如伤，恤其勤劳，每存简约，无所营为，顷年以来，意在奢纵，轻用人才，乃云：“百姓无事则骄逸，劳役则易使。”三、贞观之初，损己于利物，至于今日，纵欲以劳人，卑俭之迹岁改，骄侈之情日异。虽忧人之言不绝于口，而乐身之事实切于心。四、贞观之初，砥砺名节，不私于物，唯善是与，亲爱君子，疏斥小人。今则不然，轻亵小人，礼重君子。重君子也，敬而远之，轻小人也，狎而近之。近之则不见其非，远之则莫知其是。魏征的奏疏，用鲜明的对比，有力的事实和论证，剖析了唐太宗自贞观以来的前后变化。他希望唐太宗居安思危，善始慎终，振作精神，励精图治，继续发展贞观之治。奏疏感动了唐太宗，他把魏征这篇奏疏写在屏风上，以便朝夕披读，激励自己，并把奏疏交给史官，让他们载入史册，还赏赐给魏征黄金十斤，马二匹。
魏征的诤谏，抓住问题的要害，以史为鉴，有理有据，语言虽尖锐激切，但他刚直诚恳的态度，据理力争，不留情面有理有据，使唐太宗虽始听而大发雷霆，最终也被魏征所折服。史书载，有一次，唐太宗被魏征说得受不了，罢朝后，气狠狠地说，我早晚要杀这个乡下佬。长孙皇后问是谁，太宗说，魏征在朝廷上顶撞我，使我下不了台。长孙皇后退下后穿上朝服为之祝贺。唐太宗惊问何故，长孙皇后说：“我听说君主明臣就忠直，今魏征忠直，因陛下之明也。”唐太宗于是转怒为喜，反而更加敬重魏征。
永为诤臣范
魏征不但是一位杰出的政治家，也是一位著名的史学家。他对历史有深刻的了解，善于将历史经验和现实问题结合起来，以史为鉴，以此论治道，劝太宗。他根据唐太宗的诏令修撰《周史》、《齐史》、《梁史》、《陈史》、《隋史》五朝历史。五部史书总监虽是房玄龄，但房政务繁忙，魏征是实际的总监。魏征还亲自动手，撰写了隋史的序和论，还为《梁书》、《陈书》、《北齐书》写了总论。他治史谨严，有“良史”之称。贞观十年（636），五朝史书修撰完毕，唐太宗为嘉奖魏征，加封魏征为光禄大夫，进封郑国公。
贞观十六年（642）七月，魏征病重，唐太宗下手诏慰问。魏征居室简陋，生活俭朴。唐太宗还特别下令为他建了一个正厅，还赐给屏风等物。同年九月，唐太宗说：“方今群臣，忠直没有超过魏征的，我遣傅太子。”于是，罢去魏征的宰相职务，拜为太子太师。
贞观十七年（643）正月，魏征病危，唐太宗带领太子前往探望。魏征去世后，唐太宗亲临魏家哀悼，悲痛异常。他停朝五天，令百官参加葬礼。送葬时还登上苑西楼，遥望魏征灵柩，还亲自为魏征写了碑文。
唐太宗对魏征的去世，十分悲痛。曾感叹地说：“人以铜为镜，可以正衣冠；以古为镜，可以见兴替；以人为镜，可以知得失。魏征没，朕亡一镜矣！”