苏轼和巢谷骑着马去找晁补之，问明缘由。晁补之哈哈大笑：“真是个‘米癫’！想必还在那里呢！你们跟我来吧。”晁无咎也骑了匹快马，领着苏轼二人穿过京城，一直走到东郊汴河的岸边。河岸一带遍植垂柳，柳绵轻拂，远远地见一个人对着河边一块大石头鞠躬膜拜。苏轼笑道：“那不是元章还会是谁？”
三人走到近前，米芾仍未察觉，绕着石头喃喃自语，还不时摩挲着石山，凝神冥思。苏轼喊了一声，米芾才回过神来，大叫道：“子瞻兄快看这石头！天地间不知几百万年，才有此造化呀！”又对着石头说：“你从哪里来呢？三天三夜，元章才悟出你的造化之理，吾知先生乃灵根是也。”巢谷见他对着石头念念叨叨，知道是痴病又犯了，正要上前去劝他。苏轼拦住他，下马来仔细看那石山。石山高二丈，宽约三尺，玲珑剔透，甚为奇特。敲一敲石身，还有“咚咚”声回响。苏轼也是懂石之人，叹道：“如此奇石，甚为少有！”米芾欢喜道：“还是子瞻懂石，如此宝物，我为它守了三天三夜了！”
虽然找到了米芾，但巢谷还是没明白为什么米芾会三天三夜不回家而专门守着石头，也不明白晁补之怎么会带他们到此。晁补之对苏轼说：“记得上次西园雅集之时，我对元章说三日内去取他的宝砚吗？”苏轼笑道：“我一早就猜到了！要不然也不会去找你。你就是拿这石山跟他换砚？”晁补之神秘地笑道：“正是正是！我前不久乘船由汴河外出，听船家说此处浚河时挖出一座怪石山，丢弃在河岸上，没人赏识，也没人搬得走。我看这石山造型奇特，材质非凡，知道元章兄若见了必定会惊喜异常。因此在西园敢夸口三日内取他宝砚。”苏轼指着他大笑：“好你个晁无咎！元章的脾气被你摸透了！”
米芾回头笑道：“算他赢了我，就拿宝砚换宝石，我也算值了。这造化灵根，到哪里才能找得到啊！”巢谷不解地问：“这块巨石到底有何神奇，子瞻兄说说看。”米芾抢过话头说：“这块弃石绝非寻常之石。首先，它的造型具备了奇、怪、巧、朴、华五者和谐之完美，有日月之孔，有北斗之位，下有山河之纹，人兽之形，而内则中空。”
苏轼点点头说：“这石古之名曰‘八卦石’，星相家曰‘测天柱’。它可报气候阴晴，正月十五日夜，全年能降几成雨，这块石头就会显示几成。春、夏、秋三季之雨，可早于三日即能看出，石越湿，雨越大。凡有和风，其必有和声。天将大旱，日孔必现裂纹。风调雨顺，日月二孔尺寸相等。过阴，则月孔张；过阳，则日孔张。”
巢谷惊讶赞叹不已。米芾拱手道：“先生不愧为元章之师。”晁无咎佩服地问：“先生从何处得知此石？”苏轼说：“从杂记中知。天下有‘五岳’，亦有五块这样的奇石，分别以‘五岳’之名命之。东曰‘岱石’，西曰‘华石’，南曰‘衡石’，北曰‘恒石’，中曰‘嵩石’。这块石应叫‘嵩石’。沦没于此，得见元章，也是造化了。”
米芾哈哈大笑，又去摩挲石头不肯放手。巢谷问道：“可是这么大的石山，怎么拿它跟元章的宝砚交换呢？”米芾正为这事烦恼：“是啊！这么大的石山，陆路运送甚为艰难，要保证它完好无损就更难了。人力物力，花费必然不少。无咎你真要与我换宝砚？我怕你破费啊！”晁无咎笑道：“这个无须担心。我保证将它完好无损地送到你家里。”米芾将信将疑。苏轼笑道：“无咎定有妙法。元章还是早点回家，免得家人担心。”
米芾这才放心，准备跟着苏轼回去，走几步又回头，心中十分不舍：“不行不行，我得在这石头上留下米某的名号，别让人家占了去。”巢谷笑道：“放心吧，就算送到人家家里，人家还不会要呢。”晁无咎说：“不如你拿笔提上三个字‘米芾石’，那天下人都知道这块石头已经有主了。”米芾说：“宝砚倒是在我身上，可我没有带笔啊！”晁补之神秘地笑道：“我带了笔啊，快借宝砚一用。”说着掏出毛笔，苏轼对着晁无咎笑了笑。
米芾掏出砚台，不情愿地递给晁无咎。可是砚中无水，没法磨墨，晁无咎又嫌河水太远，取水麻烦，就吐了口唾沫到砚台里，磨起墨来。米芾惊叫一声，几欲呕吐，连连叹息道：“可惜了！可惜了！如此宝砚，竟被你口水所污！”晁补之不以为然地说：“这有什么？你嫌脏不要了？”米芾是出了名的有洁癖，欲要发怒，但为了石山又忍住说：“处子被奸，虽仍是女人，但再也不是处子了。宝物讲究一个洁字，一旦被污，分文不值。你拿去吧。”
晁补之大喜：“那我就收下了，快点写字吧！”米芾极不情愿地拿起笔，一边在石上写下“米芾石”三个大字，一边气呼呼地说：“破我宝砚，还我奇石。你何时可以将这巨石搬到我家中？”晁无咎笑道：“朝廷下达文书命你去杭州公干，等你回来时，石山就在你家中了。”米芾愤愤地说：“君子一言九鼎，我等你的消息。”说着就往回走。苏轼和巢谷在一旁摇头直笑。
过了数月有余，天气渐渐寒冷。一日苏轼准备出门，王闰之拉住他说：“子瞻，我和朝云给你做了顶帽子，戴上试试看。”朝云拿出一顶高高的巾帻帽出来。那帽子比普通的帽子要高出好几寸，苏轼戴上，帽顶都要蹭上门楣了。朝云又拿来铜镜让苏轼照了照，苏轼笑说：“挺好。你们给我戴高帽，莫不是想治我的罪？”王闰之嗔道：“你又在胡说了，朝中明争暗斗不断，我成天在家替你担心，你还拿这话来刺激我？”苏轼“呵呵”一笑，连声道歉。朝云说：“先生，这顶帽子还没有名字呢？”苏轼说：“就叫‘子瞻帽’吧。这京城的人，不管冷热，一年四季都戴帽。你们给我做的这顶帽子，别具一格，单就这尺寸之高，就够出风头了。”朝云“咯咯”笑道：“楚辞中说，‘冠切云之崔嵬’，先生效法的是屈子的高洁之心。”苏轼高兴地说：“张舜民出使辽国回来，我在西池给他接风洗尘。朝云这么说，我就非戴这‘子瞻帽’去会客不可了。”
苏轼刚出门，苏迨和苏过就拉着手跑出去玩儿。他俩都长大了，平时父亲严厉管束在家读书，趁父亲出门，也忍不住跑到繁华的汴京街市上去玩耍。王闰之在屋里叫不住他们，生气地说：“两个小兔崽子，越来越不听话了！子瞻公务繁忙，经常不在家，这两个臭小子就反了天了。”朝云忙过来安慰她。
王闰之忽然感到胸口一阵剧烈的疼痛，她捂着胸口，脸色苍白，汗如雨下。朝云慌了，连忙倒杯热茶过来，又来抚摩她的后背。王闰之渐渐喘过气来，面色灰黄。朝云担心地说：“夫人，您自从去了黄州，这心痛病犯病越来越勤了！我去请个郎中来看看吧！”王闰之喝了口茶，虚弱地说：“不必了，都是老毛病。这么多年都挨过来了，不碍事的。”朝云关切地说：“夫人，您别太劳累了，家中还有我呢。先生在朝中，您也不必太过担心。黄州那么艰险的日子都熬过来了，心该放宽些才是。”王闰之点点头：“朝云啊，那日我跟你说的事，我一直挂在心上，你在我们苏家将来也得选个出路才是。你人聪明，又懂子瞻的心，遇事比我会出主意，将来在子瞻身边我也放心。这事我给你做主，怎么样？”朝云脸颊绯红，眼中渗着泪水说：“夫人，别说这个了，您先休息吧。”说完就红着眼睛出去了。王闰之显得苍老了许多，呆呆地坐着沉思了好久。
苏轼骑着马走在汴京的大街上，人人都争着来看他那顶奇特的高帽，不久即传遍京城，人人效仿，都以戴苏学士所戴之高帽为荣。有人特地来问此帽的名字，然后赶制数百顶放到衣帽店里出售，一时间衣帽店门口排起了长龙，人人都来抢购“子瞻帽”，很快就售罄了。
苏轼来到西池，黄庭坚、张舜民早已等候多时，忙迎入金明楼。西池亦称金明池，是汴京城西最大的湖泊，连接城内的汴河直通南方。金明池最早是五代后周世宗所凿，用以演习水军，以备攻打南唐。如今这里已成为皇帝赐宴游赏之地，平时达官贵人和平民百姓也可以到这一带来游玩。环池一带殿宇罗列，尽是歌舞繁华之地，车水马龙、人烟辐辏。
苏轼和众人直上金明楼。楼上楼下的贵戚豪族、佳丽公子，无不争睹苏学士的风采，一时楼梯上显得拥挤异常。苏轼笑着对众人说：“苏某貌不如潘安，味不及美酒，有何好看哪？”众人被逗得大笑，又都去看那顶惹眼的“子瞻帽”，人人都艳羡称奇。苏轼笑说：“再这么看下去，可真要看杀苏某啦！”张舜民笑道：“子瞻若能出使辽国，想必也能见此盛况。”苏轼好奇地问道：“哦？辽国人也知道苏某？”张舜民答道：“此次北行，子瞻兄的诗词文集板印不少，幽州城内外，街市州馆，酒楼客店，公之诗词到处都是。还有歌者能唱公之‘大江东去’呢。所以，我在馆壁上题了两句诗，‘谁题佳句到幽都，逢着胡儿问大苏’。”苏轼拈须大笑道：“若我真的出使辽国，那贾易一定参劾我里通外国。说不定又到幽州城去搜罗苏某的诗去。”众人哈哈大笑，忙登楼入席。
酒席之间，觥筹交错，众人谈笑欢饮。张舜民说：“近日我从宰相那里得知，西北边界又出事了。”众人都让他仔细讲讲。张舜民清清喉咙说：“事发去年冬天。西夏铁骑入境劫掠，杀我秦凤路西安州古戎镇边民一万五千余人。边关路使、太守竟隐情不报。今年不知怎么消息走漏了，有人一纸奏劄捅到了中书省，太皇太后震怒异常，责令吕、范二公派人调查，缉拿罪官到京。”苏轼问道：“吕公究竟派何人前去查证？”张舜民说：“是侍御史杨畏。”苏轼叹道：“吕公选错人了啊！杨畏此人，反复无常，人称‘杨三变’。荆公在时则附议新法，温公在时则非难新法，现在刘挚与吕公不合，暗中较力，杨畏不过是押注投机，择人行事罢了。用他这种人，边事原委怎么查得清楚？一万五千边民恐怕要枉死了。”张舜民也同感忧虑，众人又饮了数杯，就都散去了。
米芾从杭州回京，急冲冲地到家一看，屋前屋后都没有什么奇石。夫人忙问找什么呢，米芾愤愤地说：“晁无咎说将汴河岸边的奇石送到家中，可恨他食言了。”夫人嗔怪道：“我当什么事呢，风尘仆仆地回来就问你的石头，看你的痴样！”米芾即刻要上马去找晁无咎问罪，夫人忙拉住他说：“晁先生得知你今天到京。早上差人送了这封信来，嘱咐说交给你看。”米芾心下奇怪，展信读来，内中写道：
元章亲启：明日到家中观赏石山，赴汴河岸边旧地相会。苏公与在下恭候。无咎顿首。
米芾且先压下满肚子的气，在家歇息一晚。米芾问夫人：“我今日回京，看街上不少人都戴一顶极高极奇怪的帽子，那是什么时兴物件？”夫人笑道：“那是‘子瞻帽’。是苏大人家夫人为他特地缝制的，没想到大家见了，人人效仿，前街衣帽店里连续几天都卖断货了。”米芾笑道：“‘子瞻帽’……夫人也为我缝制一顶吧，我的要比‘子瞻帽’还要高三寸！”夫人嗔怪道：“你这个痴汉，事事都要争奇斗异，戴那么高的帽子，门都出不去，走到大街上不让人笑死？”米芾笑道：“我的脾气你又不是不知道，特立独行，我行我素，什么时候怕人笑过？”软磨硬泡地非要夫人缝制，夫人拗不过，连夜为他赶制了一顶。
次日起来，米芾叫使女把外衣拿去浆洗了，再把唐装拿出来换上。夫人说：“人家都穿宋服，你偏要穿唐朝的衣服。”米芾说：“宋承唐制，唯服不袭，成何体统！”夫人笑道：“是不是还要戴上‘子瞻帽’？”米芾说：“那是当然！”夫人埋怨道：“苏大人的‘子瞻帽’已经够高了，你的‘高瞻帽’还要高出一截，不沉吗？”米芾笑道：“不要脑袋岂不更轻便？”夫人笑着责备他又在胡说八道。
这时内侍进来传圣旨道：“书画学博士米芾损官衣纹图，罚铜十斤。敕，洁身自好，当以倡之，成癖亦可，莫损官衣。官服有制，自当爱惜。课以此罚，当须牢记，可。”米芾与夫人跪下接了旨，夫人问道：“官袍怎么会破损的？”米芾摊开两手，无奈地说：“去了趟杭州，两天一换洗，那官袍上的花纹就磨损坏了。”夫人责怪道：“你呀！官衣两天一洗，衣上鸟兽纹案焉能有存，不飞即跑。你真是爱洁成癖了。”米芾不以为然地说：“这尘世肮脏，还不让我把衣服穿得干净点儿？你看，刚刚接圣旨跪在地上，又把衣服弄脏了。”夫人无奈地摇头叹道：“唉！大宋出了两个爱干净之人，一个是王荆公的吴老夫人，一个就是先生你了。”米芾头也不回地上轿去，丢下一句话：“米芾无过，爱洁更无过！”
因为戴着那顶高帽子，米芾怎么钻也钻不进轿子里，轿夫说：“大人，您的帽子太高了，轿子小，容不下。”米芾愤愤地说：“把轿顶撤掉！”轿夫有些为难，但也不得不如此。于是汴京大街上出现了这样一幕滑稽的景象：四人抬着一乘无顶的轿子走过闹市，轿子里赫然耸出一只高帽来。米芾坐在轿子里，顾盼自若，任凭两旁路人惊奇指点，也毫不在意。
米芾来到京郊汴河岸边，却不见了石山，心中正纳闷儿，眼前是一座新盖的深宅大院，门首匾额上写着四个大字：米家山庄，正是苏轼的笔迹。米芾愈加迷惑不解，忽然晁补之打开门出来迎接：“元章兄果然来了！”苏轼、巢谷、黄庭坚等一干人都在门口等候。
米芾愣愣地问道：“这到底是怎么回事啊？”晁补之笑道：“以石换砚之约，我今天就要兑现了！”苏轼笑着补充说：“那么大块石头怎么运得到你家？无咎出巨资，买下这块宝地，给你盖了这座宅子。如此一来，他也没食言哪，‘测天石’还是到了你的家。不过，石头没动，搬的是房宅。”
米芾深为感动地说：“这可怎么好啊……”晁补之笑道：“君子一言九鼎，我当然要遵守诺言了。这宅子也归你了。”米芾惊讶地问：“你哪里来那么多钱买地盖房呢？”秦观说：“无咎兄变卖了江南的宅子。”米芾深感愧疚地说：“这如何是好？为了我这块顽石，连累你了！你真是比我还癫！”晁补之哈哈大笑道：“小弟任职京城，家乡的宅子本就空闲破败，索性卖了成全元章兄一个人情。我还请先生亲笔题了匾，你看！”米芾忙向晁补之和苏轼施礼拜谢。苏轼笑道：“先不说这么多，赶快进屋赏石吧！”
众人都拥到屋里，石山已被圈在庭院中央，开窗即可入目，米芾欣喜不已。秦观却对米芾那顶高帽发生了兴趣：“元章兄，你这帽叫什么帽？”米芾得意地笑道：“嗯，‘高瞻帽’！”苏轼凑过来仔细端详，会心而笑。秦观又问：“从何而来？”米芾说：“从先生的‘子瞻帽’而来。”秦观狡黠地笑说：“既从先生而来，又岂能高过先生？”米芾恍然大悟：“咳，竟没有想到这一层。请借剪刀一用！”秦观问：“要剪刀作何用？”米芾笑道：“剪掉一截嘛！”众人大笑。