王安石坚持三不怕，但是宋神宗并不像他那么坚决，听到反对的人不少，就动摇起来。
宋神宗寻找得力助手
宋仁宗做了40年皇帝，虽然也用过像范仲淹、包拯等一些正直的大臣，但是并没有改革的决心，国家越来越衰弱下去。他没有儿子，死后由一个皇族子弟做他的继承人，这就是宋英宗。英宗即位4年，就害病死了。太子赵顼即位，这就是宋神宗。
宋神宗即位的时候才20岁，是个比较有作为的青年。他看到国家的不景气情况，有心改革一番，可是他周围的人，都是仁宗时期的老臣，就是像富弼这样支持过新政的人，也变得暮气沉沉了。宋神宗想，要改革现状，一定得找个得力的助手。
宋神宗即位前，身边有个官员叫韩维，常常在神宗面前谈一些很好的见解。神宗称赞他，他说：“这些意见都是我朋友王安石说的。”宋神宗虽然没见过王安石，但是对王安石已经有了一个好印象。现在他想找助手，自然想到了王安石，就下了一道命令，把正在江宁做官的王安石调到京城来。
王安石曾经失望万分
王安石是宋朝著名的文学家和政治家，抚州临川（今江西抚州西）人。他年轻时候，文章写得十分出色，得到欧阳修的赞赏。王安石20岁中进士，就做了几任地方官。他在鄞县（今浙江都县）当县官的时候，正逢那里灾情严重，百姓生活十分困难。王安石兴修水利，改善交通，治理得井井有条。每逢青黄不接的季节，穷人的口粮接不上，他就打开官仓，把粮食借给农民，到秋收以后，要他们加上官定的利息偿还。这样做，农民可以不再受大地主豪强的重利盘剥，日子比较好过一些。
王安石做了20年地方官，名声越来越大。后来，宋仁宗调他到京城当管理财政的官，他一到京城，就向仁宗上了一份万言书，提出他对改革财政的主张。宋仁宗刚刚废除范仲淹的新政，一听到要改革就头疼，把王安石的奏章搁在一边。王安石知道朝廷没有改革的决心，跟一些大臣又和不来，他就趁母亲去世的时机，辞职回家。
变法需要三不怕
这一回，他接到宋神宗召见的命令，又听说神宗正在物色人才，就高高兴兴应召上京。
王安石一到京城，宋神宗就叫他单独进宫谈话。神宗一见面就问他说：“你看要治理国家，该从哪儿着手？”
王安石从容不迫地回答：“先从改革旧的法制，建立新的法制开始。”
宋神宗要他回去写个详细的改革意见。王安石回家以后，当天晚上就写了一份意见书，第二天送给神宗。宋神宗认为王安石提出的意见都合他的心意，愈加信任王安石。
公元1069年，宋神宗把王安石提升为副宰相。那时候，朝廷里名义上有四名宰相，病的病了，老的老了，有的虽然不病不老，但是一听见改革就叫苦连天。王安石知道，跟这批人一起办不了大事，经过宋神宗批准，任用了一批年轻的官员，并且设立了一个专门制定新法的机构，把变法的全抓了来。这样一来，他就放开手脚进行改革了。王安石的变法对巩固宋王朝的统治、增加国家收入，起了积极的作用。但是，也触犯了大地主的利益，遭到许多朝臣的反对。
有一次，宋神宗把王安石找去，问他说：“外面人都在议论，说我们不怕天变，不听人们的舆论，不守祖宗的规矩，你看怎么办？”
王安石坦然回答说：“陛下认真处理政事，这就可说是防止天变了。陛下征询下面的意见，这就是照顾到舆论了。再说，人们的话也有错误的，只要我们做得合法有理，又何必怕人议论。至于祖宗老规矩，本来就不是固定不变的。”王安石坚持三不怕，但是宋神宗并不像他那么坚决，听到反对的人不少，就动摇起来。
《流民图》逼王安石下台
公元1074年，河北闹了一次大旱灾，一连十个月没下雨，农民断了粮食，到处逃荒。宋神宗正为这个发愁，有一个官员趁机画了一幅“流民图”献给宋神宗，说旱灾是王安石变法造成的，要求神宗把王安石撤职。
宋神宗看了这幅流民图，只是长吁短叹，晚上睡不着觉。神宗的祖母曹太皇太后和母亲高太后也在神宗面前哭哭啼啼，诉说天下被王安石搞乱了，逼神宗停止新法。
王安石眼看新法没法实行下去，气愤得上疏辞职。宋神宗也只好让王安石暂时离开东京，到江宁府去休养。
第二年，宋神宗又把王安石召回京城当宰相。刚过了几个月，天空上出现了彗星。这本来是正常的自然现象，但是在当时却被认为是不吉利的预兆。宋神宗又慌了，要大臣对朝政提意见。一些保守派又趁机攻击新法。王安石竭力为新法辩护，要宋神宗不要相信这种迷信说法，但宋神宗还是犹豫不定。
王安石没法继续贯彻自己的主张。到第三年（公元1076年）春天，再一次辞去宰相职位，回江宁府去了。