崇祯五年（1632年）一月二十四日，黄道周上疏劝崇祯皇帝“小人勿用”，影射权臣温体仁。龙颜震怒之下，黄道周被削籍为民。这是崇祯继位后，黄道周第二次因直谏惹恼了这位自我感觉良好的皇帝。
第一次是崇祯二年（1629年），袁崇焕被捕下狱事件震惊朝野，连累次辅钱龙锡。满朝文武皆知钱龙锡被冤枉，却没有人敢站出来说句公道话——除了黄道周，他孤身为钱龙锡鸣冤，规劝崇祯不能乱搞株连、滥杀无辜。崇祯很生气，让他好好反省。黄道周非但没有悔意，反而一再坚持自己的主张，并且逐渐得到朝野舆论的支持，弄得崇祯很尴尬。最终没能枉杀钱龙锡，而黄道周却被停职了。
第二次的削籍为民，等同于今天的“被开除出公务员队伍”。
二月初九，黄道周挂帽出东门，携家眷离京。黄道周沿着运河南下，还乡沿途游山玩水。五月初三至初五，在南京观象台测量日晷。六月，留蔡玉卿母子于南京，携两仆西溯长江，游牛首山、池山、齐山、九华山、浮山、湖口、庐山。既自庐山还，黄道周到常州寻好友郑鄤，恰巧遇上徐霞客。盘恒数日，黄道周告别郑鄤，告别常州，同徐霞客游历太湖。他七月初七致信杭州的学生曹振龙，安排蔡玉卿母子暂到杭州落脚。
算来这是徐黄两人的第三次会面。徐家世居江阴，徐霞客走出家门，沿水路便可直达太湖。太湖又名五湖、笠泽，烟波浩渺，古有 “三万六千顷波涛”之说。湖中大小岛屿错落，连同沿湖的山峰和半岛，号称“洞庭七十二峰”。徐霞客雇了一条小船，驶入湖中。离岸渐远，四望空阔，真是莫知天地之在湖海，湖海之在天地。黄道周放眼但见山青水绿，天蓝云苍，夕阳橙黄，晚霞桃红。如画的风景让人安适，也让人省思。他于是联想到范蠡助越王勾践报仇复国，功成身退与西施归隐太湖的故事；想到陶渊明的“归去来兮”：“实迷途其未远，觉今是而昨非。舟遥遥以轻飏，风飘飘而吹衣……”
暮霭苍苍，一叶扁舟消失在垂柳深处。黄道周、徐霞客游太湖兴尽而返，路过苏州，夜宿石湖旁的楞伽山。人生没有不散的宴席，临歧之际，两人灯下赋诗。行将离别触发了两人的身世之感，他们乃以 “孤云独往还”为韵，各作五律五首。第一首落“孤”字，第二首落“云”字，第三首落“独”字，第四首落“往”字，第五首落“还”字。
徐霞客诗先完成。全诗如下：
秋空净无极，兀兀片云孤。
不与风同驶，遥令雨自苏。
卷舒如有约，尺寸岂随肤。
我欲神相倚，从之径转无。
为霾并为电，弥天总是云。
谁能绘霄汉，了不作氤氲。
捧日开朝霁，飞霞散夕曛。
此中无一系，何处着纷纷？
出岫何幽独，悠然扬碧空。
遥分秋水影，忽度夕阳风。
长天不留迹，冷月若为容。
归宿应何在？崆峒第一峰。
彩霞竟何往，苍狗自徜徉。
出没千峰迥，夷犹一壑长。
鹜飞难作伴，龙跃岂相忘。
不待为霖日，方令天汉章。
卷舒有妙理，谁云倦始还。
垂天宁幻态，触石岂无关。
神远群俱涣，情空迹自闲。
始知能体物，造化掌中删。
第一首，“孤”字是诗眼。“不与风同驶，遥令雨自苏”，云是那么的高蹈独立；“卷舒如有约，尺寸岂随肤”，云又是那么遵从自我的价值。显然，这里的云已注入了诗人强烈的主观情感，带有人格化的特质。孤云既是徐霞客自己的化身，丈量名川大山、云游履迹无定；也是徐霞客眼中黄道周的清高形象，卓然独立、不趋时流。“我欲神相倚，从之径转无”，言精神一契，身影难随，笃友客里相逢，此番良晤就此别过。
第二首，前四句写雨前景象，云气塞空；后四句写拨云见日，阴转晴明。咀嚼该诗，其中自有徐霞客对黄道周的殷殷宽慰。黄道周触犯龙鳞，被削籍，处境可谓“为霾并为电，弥天总是云”。他寄望挚友来日东山再起，“捧日开朝霁，飞霞散夕曛”，同时以禅宗的“缘起性空”劝勉黄道周远离烦恼，莫计较一时的得失。
第三、四首，诗意从陶渊明《归去来兮辞》的“云无心以出岫”化出。“遥分秋水影，忽度夕阳风”写两人乍逢又别。“长天不留迹，冷月若为容”写雪鸿泥爪，人事无常。“鹜飞难作伴，龙跃岂相忘”言海内存知己，天涯常惦念。“不待为霖日，方令天汉章”言黄道周的忠耿青天可鉴，无需等到朝廷为其“平反”正名，反映出徐霞客的知己之情。
第五首借云之淡泊超然以申心志。末两句“点睛”，言从云所获得的感悟：若人心能洞察事物的微妙，则透过世间万象的表象，删繁就简，许多问题也就易于化解了。“体物”，摹状事物。西晋陆机《文赋》：“诗缘情而绮靡，赋体物而浏亮。”这也是徐霞客临别时对朋友的赠言勉励：希望黄道周以平常心对待人生中遇到的坎坷。
徐霞客这五首五律纯以神行，一以贯之，黄道周读后 “喜其词意高妙，备极诸长”，并誊录纪念。
“共赋孤云独往还”，黄道周当时也写有五首五律，惜已亡佚，我们目前见不到了。不过，作别徐霞客之后，黄道周某日依照徐霞客这五首诗的原韵，“和诗”一组寄给友人，“灯下依韵和徐振之（徐霞客，字振之）孤云独往还之作，并书请正，不能如振之之体物备妙也。弟道周再识。”黄道周和诗如下：
野水笑人旷，深秋知客孤。
江枫催雨老，渔火报灯苏。
家计分浮梗，乾坤动剥肤。
柴桑行可觅，能得隐邻无？
笠泽无停棹，杖头不系云。
帆随风意致，山与梦氤氲。
古洞扃幽户，残崖倒暮曛。
每逢巢鸟尽，萝月想缤纷。
不忍閟幽独，因思别凿空。
闲过长喙峡，戏织打头风。
绝壁三分篆，坚匏五石容。
心知无一可，更上最高峰。
虚逃无所往，白醉此商羊。
古迹有代谢，时人空短长。
同心宜送远，得句偶难忘。
昨夜蒹葭月，又涵霜露章。
何处不仙峤？长游已大还。
猿鱼新换径，虎豹久迷关。
天纵几人逸，生扶半世闲。
楞伽言语外，别寄与谁删。
第一首起篇两句，黄道周就给出一个寥落的自画像。一个“笑”字是自嘲也是自宽；一个“孤”字是热闹边缘的阑珊风味。“深秋知客孤”，应理解为“孤客知秋深”。秋在自然为时令，在人心为离愁。“乾坤动剥肤”一句指被削籍一事。“剥肤”，语出《易·剥》：“剥床以肤，切近灾也。”谓灾祸近身。“家计分浮梗”一句指黄道周一路携家南归。“浮梗”，典出《战国策·齐策三》，喻飘流无定。“柴桑行可觅，能得隐邻无？”黄道周自问：此行我寻觅到陶渊明那样的高士，但我能同他归隐，比邻而居吗？陶渊明故里在柴桑，故“柴桑”指代陶渊明。显然，诗将徐霞客比作陶渊明。而比邻而居是心向往之的念想而已。
第二首，黄道周追述与徐霞客同游太湖一事。 “笠泽无停棹，杖头不系云。帆随风意致，山与梦氤氲。”景随船动，湖山逶迤的画面在记忆深处徐徐展开。黄道周想起随徐霞客探幽涉险，“古洞扃幽户，残崖倒暮曛”；想起秋江泊舟的朦胧夜色，“每逢巢鸟尽，萝月想缤纷”。
第三首，黄道周写别后途中对徐霞客的思念。首联说一人难忍孤寂，在离别的路上想起挚友。 “閟”，同“闭”。“因”，于是。“凿空”，开通道路，此指路途。唐徐彦伯《胡无人行》：“十月繁霜下，征人远凿空。”颔联想象徐霞客路上的情景。长喙峡，像鸟嘴长长的峡谷（疑或指地名，待考）。打头风，指逆风。颈联转到自身沿途所见：那像古篆字形曲折陡峭的绝壁、那可容纳五石、形如葫芦的岩洞。尾联说心中颇少欢悰，于是登上高处，回望友人远去的身影。
第四首承接上一首，转入议论和抒情。首联说何处能逃避世俗呢？举杯消愁，喝醉了且像商羊般纵情起舞吧。 “白醉”，浮白酒醉，即喝酒。“商羊”，古代神话中一只脚的神鸟，每当大雨到来之前便会翩翩起舞。颔联感世事之兴衰。“代谢”，新旧交替。唐孟浩然《与诸子登岘山》：“人事有代谢，往来成古今。”“短长”，短处和长处，是非。颈联说知交虽远隔天涯，但酬唱让心意近在咫尺。“同心”，志同道合、情投意合。“得句”，诗人觅得佳句。唐贾岛《题诗后》：“二句三年得，一吟双泪流。”尾联寄思怀远。“蒹葭月”，芦苇深处的月色。“涵”，包含。“霜露章”，典出《诗经·蒹葭》：“蒹葭苍苍，白露为霜。所谓伊人，在水一方。”
第五首再次点明自己与徐霞客相知相契。首联谓自己世路已惯，身处何处都觉得泰然。更何况长游归来，已近家乡。 “仙峤”，仙山。唐李白《送贺监归四明应制》：“瑶台含雾星辰满，仙峤浮空岛屿微。”颔联上句说南归一路猿鱼作伴，意指放浪山水；下句说朝廷局势波谲云诡。“虎豹”，天庭去的重门有虎豹把守，喻凶暴残虐的弄权之臣，典出屈原《招魂》：“虎豹九关，啄害天下人兮。”颈联点明对徐霞客的赞誉。上句说上天赋予徐霞客奇才，高逸脱俗；下句说徐霞客好旅游，足迹半天下，消受了半世清闲的福分。值得一提的是，徐霞客的“霞客”别号是陈继儒取的，黄道周也曾为其取别号“霞逸”，可惜没有流行开来。这里的“天纵几人逸”是颇高的评价。尾联说和诗用文字，然而文字之外还有我们彼此精神的契合。这句由追忆两人曾宿楞伽山想到佛教的楞伽经典，借禅宗的“不立文字，教外别传”之意表达对徐霞客的思慕。
黄道周这组和诗未落纪年款，通过以上分析可以确定是写于此次削籍南归的途中，从第一首的 “深秋”判断，诗应完成于崇祯二年（1629年）的十月。当时，黄道周携家眷正循浙、闽沿海入乡。当他们抵达漳浦北山墓庐，时已入冬。
徐霞客收到黄道周的和诗，难免又挂怀起老友。隔年秋，徐霞客第三次入漳，专程探望黄道周。这是徐黄两人的最后一次会面，此不赘述。
徐霞客珍视黄道周的墨宝，美誉其字画“为馆阁第一”。若非徐霞客收藏并请人碑刻，我们今天或许就读不到徐霞客所赋“孤云独往还”诗及黄道周后来的唱和诗。徐霞客生前将其交游得来的学者朋友的墨迹精品勒石保存。在晴山堂碑刻中有黄道周三件书法作品。这两件诗作是楷书，写得精、刻得也精。 如今，当我们试图藉《晴山堂法帖》里这两件小楷重返历史现场已不可能，我们只能隐约望见千里之外的太湖斜晖脉脉：过尽千帆皆不是，闲云一片空悠悠。