到熙宁九年，王安石前后八年两度为相，他以其政治家的智慧和毅力，挺立在朝廷惊涛骇浪的风口浪间，顽强推行自己富国强兵的宏伟改革，直到耗尽最后一滴心血，才激流勇退，归隐钟山。
钟山白塘已属江宁的荒郊野外，漫坡的乱石、野草和流水，只有几户星零的人家。王安石第二次出任宰相时就看中了这片土地，他托朋友代购以作退身之用。熙宁九年十月，王安石手扶爱子的灵柩，与老妻吴氏一起退隐到钟山白塘。
王安石在《泊船瓜洲》中所写的愿望终于实现，他与明月一起回到了钟山。
他像当年设计北宋帝国一样设计自己的园林：几间与山野农舍相似的房屋十分简陋，据《续建康志》记载，也就"仅蔽风雨"而已，而且开放得连一道围墙都没有，有人出于安全考虑，劝他还是筑一道围墙，王安石没有采纳；王安石以"唐宋八大家"的书生情怀，把园林修建得充满"寻山问水"的文人之美——他担土为丘，凿地为池，还种植了三百多株能够迅速成林的楝树，中间杂以山桃溪杏……多年积水为患的卑下之地，王安石因势利导引水为渠，使之与江宁河相通，他每去江宁，便可雇乘民间小船泛水而至。
从白塘到江宁东城，与从白塘到钟山距离相等，都是七里，所以王安石把自己的园林称为"半山园"。
王安石辞相退隐时，宋神宗为了使他晚年能过一份富贵日子，让他以"使相"之名兼任江宁知府，然而，王安石在"半山园"安顿下来之后，马上就辞去了"使相"之名与江宁知府，完全"裸退"下来。
辞别京城时，宋神宗曾经送给王安石一匹好马充当脚力，回江宁后，王安石又买了一头驴。王安石游山玩水总是或骑马或骑驴，从不坐轿；有人向他建议，年纪大了应该坐轿，骑马骑驴不安全，王安石却说坐轿子是拿人当牲口，不习惯。元丰初年，王安石的马不幸死了，他便专门骑驴，还雇了一位老兵给他牵驴。
在钟山四野，人们经常会看到一位长者，穿着普通的衣服，骑在一头黑驴上，旁边跟着一位迟钝的牵驴汉子。有一次，《清虚杂著》作者王定国恰巧碰见王安石骑驴而出，便上前问他准备去哪里，王安石回答："如果牵驴的老兵在前，就随老兵牵到哪里算哪里，如果牵驴的老兵在后，那么就由驴想去哪里就去哪里。"
另外的情形是：王安石想走则走，想停则停，或者坐卧于松石之上，或者到山间农家访问，或者去南边的定林寺读书写作。王安石的口袋里经常带着书，他或者在驴背上背诵，或者在驴背下浏览。他口袋里还装着十多个烧饼，如果走饿了，便找个地方坐下来，王安石吃烧饼，然后老兵吃烧饼，再然后是驴吃烧饼。
有一年盛夏，王安石在钟山骑着黑驴漫游，提刑李茂直前往山中候见，正好与王安石在山野小路上相遇。王安石从驴背上下来，与李茂直在路边坐着聊了很久。李茂直命手下人张伞遮阳，夕阳西下时，见有阳光漏在王安石身上，李茂直又命手下人"移伞就相公"，王安石却笑着摆手："不必移伞，他日我若转世做牛，还需一缕阳光伴我耕田呢。"