李世民即位为皇帝不久，就提升魏征为谏议大夫，这真是得其所哉！唐太宗善于听取别人的意见，成就了魏征的名声，魏征敢于犯颜直谏，促成了唐太宗善于纳谏的性格，魏征的进谏和唐太宗的纳谏同样名垂青史，这在中国历史上是绝无仅有的。
谏议大夫的职责是专门向皇帝提意见，这是个很奇特的官职，它既无足轻重，又重要无比；它既无尺寸之柄，但又权力很大，而这一切都取决于谏议大夫的意见皇帝听还是不听。唐太宗任命魏征为谏议大夫，表现了唐太宗对他才能的认可和对他本人的信任与尊重，后来又把他提升为尚书丞，就更能使他随侍左右，时时处处提醒规劝皇帝了。
在政治方面，魏征坚决主张怀柔招抚，反对镇压。当时，太子李建成的部下遍布全国，在“玄武门之变”过后，一时人心惶惶，许多人准备造反。魏征向李世民建议说：“要不计私仇，对他们要以公处之，否则杀之不尽，有无穷之祸。”李世民听信了他的话，就派他为特使，给以便宜行事的权力，让他去太子势力较为集中的河北一带安抚人心。他到了河北，见到两辆去长安的囚车里面装着“玄武门之变”中逃走的李建成的部下。魏征说：“我离开长安以前，朝廷就已下令赦免了李建成和李元吉的部下，如今又把他们逮捕，岂不是自食其言，失信于人吗？如今，我来招抚还恐怕人家不愿相信我，怎么能把人押送长安呢？临行的时候，太宗让我便宜行事，把李治安和李思行放了，让他们跟我一起去招抚别人，一定会有很好的效果。”别人都很同意魏征的意见，他们就放了那两个人，并给唐太宗写了报告。由于魏征的正确做法，很快就安抚了河北一带，出色地完成了任务。唐太宗很赞赏魏征的做法，也就更加器重他。