宗氏夫人四处奔走，求告故交，李白虽然被免了死罪，却难逃活罪。在宋若思营中盘桓数月，宋若思还以他的名义，向朝廷举荐，没有等到朝廷下诏任用，却等到了一纸判决：因依附永王，判长流夜郎。
妻子宗氏缠绵病榻，不能相送，只有妻弟宗嫌送行。乾元元年夏末，李白从浔阳起身，踏上了流放的漫漫长途。一路之上，有友人相接相送，倒也算得上悠闲自在。在长江上泛舟而行，一程一程地向夜郎行去。
到了江夏，李白带了宗嫌，特意去探访了老友李邕居住过的家园。彳亍于其中，李白回想起了与北海太守李邕的过往，李邕的音容笑貌也浮现在脑际。天宝六年，李邕被李林甫陷害，不幸身亡。李白感他名士风骨，常常忆起他来。在一首答友人的诗句中，李白慨然写道：
“达亦不足贵，穷亦不足悲。
韩信羞将绛灌比，祢衡耻逐屠沽儿，
君不见李北海，英风豪气今何在？
君不见裴尚书，土坟三尺篙棘居。
少年早欲江湖去，见此弥将钟鼎疏。”
李邕当年书风豪挺，名重一时。因为谗臣陷害，冤死杖下。自己虽然早已看穿一切，一心要疏远钟鼎，却终因孽缘未了，尘根未尽，才误入永王军中，蒙受了不白之冤，致使被远流夜郎。思之百感交集，却又难以咏叹出个中百味。沉吟一阵，漫步踱出了李邕家的院门。
宗嫌似乎还流连于李邕故宅的清幽雅静，走在路上，还频频地回头看去。李白问他：“你看什么？”
“如此幽静雅致的所在，早起，林间百鸟啁啾，向晚，江涛在山下低吟，临窗挥毫泼墨，一定是物我两忘，不知要留下多少传世墨宝。李北海不知留恋，进了仕途，最终却落了个横死杖下。”
李白低头走路，似乎没有听见宗嫌说了些什么。宗嫌还以为他没有听清，就提高了嗓音，说道：“为李北海大不值，宗嫌若是能长居于此，高官厚禄，锦衣玉食全然不在心头。”
李白幽幽地说：“还有眼前姐丈的际遇，也使贤弟深有感悟吧？”
宗嫌并不否认：“多少也有一些。”
“蜀中景色，不输于此。姐丈当日却带了一柄长剑，告别故土，怀揣匡世济民一腔豪气，与友人买舟东下。出川时，青丝满头，于今却是鬓发如霜，还成了一名罪囚，五十有八，却长流夜郎。若是留在蜀中，肯定不会有此厄难。但是——，”李白款款说道：“不出蜀中，怎知长安绝世繁华，不出蜀中，怎知山川如诗如画，不出蜀中，怎能结交一班挚友，不出蜀中，怎能得一个‘诗中谪仙’的美誉。盛唐煌煌于世，我李白的诗名，定将与盛唐一样，流芳后世。”
宗嫌不再说话，想必是被姐丈的话深深打动。
落日映照江波，江上金波粼粼。江上归舟千帆，渔歌声声唱晚。李白登上了江岸的黄鹤楼，远眺鹦鹉洲。暮色中的鹦鹉洲郁郁苍苍，一遍青葱，李白不禁想起了崔颢的诗句：晴川历历汉阳树，芳草萋萋鹦鹉洲。赞叹它堪称千古绝句。触景生情，也想赋诗一首，搜尽枯肠，竟然半句也无。落寞地走下黄鹤楼，在江边寻了一家酒肆，买了一条长江鲤鱼，与宗嫌一起，喝了个大醉酩酊。
天气一天一天地冷了，转眼之间秋去冬至，在江陵盘桓一月，宗嫌告别归去，李白独自一人，登上一叶扁舟，逆江而上。江风刺骨，直入肌肤，越向上行，山岭越是高峻。斧削刀劈一般，耸入云端。李白独坐船头，看江水在船舷下激荡，浓浓的愁思萦绕在心头，挥之不去，驱而不散，想起壮年时的豪放不羁，一行诗句浮到眼前：天生我材必有用，千金散尽还复来。自诩才华盖世，却是半生蹉跎，浮生如梦，梦醒时，只落得孑然一身，独自长流。思之虑之，不由得万念俱灰，无限幽怨沉郁于胸襟之中。
船进巫峡，江水浩茫奔流，夹岸青山耸入云霄，林立的山峰使头上青天显得低矮，似乎触手可及。厚重的云层萦绕在巫山十三峰上空，好像恋眷她的秀美而不忍离去，云卷云舒，骤然间，一阵骤雨袭来，把青翠的山岭洗涤得更见清新可人。仿佛是翡翠雕琢而成。来的匆忙，去得也仓促，刚刚打湿了船板，雨滴就匆匆地收起了洒落，云层飘飘地上浮，缠绕在山巅之上，依依缠绵，久久不肯离去。山上，有猴群出没，它们身手矫捷，在岩石上奔腾跳跃，健走如飞。时而发出声声长啸，在空谷间回荡，久久不散。
随着船身颠簸，神女峰扶摇着进入了眼帘，她亘古不变地仰看长天，梳着高高的发髻，露出长长的颈项，衣袂飞扬，脸上的神情一定也同样地飞扬，感谢上苍，让她在这里安身，江水为她吟唱，山风为她掠过，青山为她挺立，文人骚客更是为她沉迷，把佳词美句遣上笔端。
逆水行舟，进三退一，遇到漩涡，船在江心打转，踟蹰不前，船工们打着赤膊，拼命地摇橹，木船跳上一个波峰，又跃下一个波谷，在波浪间起伏向前，一座座山岭出现在船头，又一座座地落到了船尾。
滟滪堆赫然出现在峡口，离别故乡，当年告别故土，从它脚下经过，好像还是昨天的事情。吴指南此刻就坐在身边，惊叹滟滪堆的狰狞凶险，他的惊叫声似乎还回荡在耳畔。到宜昌时，特地去看了他的安息之所。孤坟一座，默默地躺在洞庭湖边，拍岸的江涛就在它身边起起落落，恍惚之间，吴指南出现在波涛之中，脸上挂着隐约的笑靥，无言地向他打问：别来无恙，一向可好？
华发如银，面色如土，一腔豪情，早已付之于东流。唯有这病残之躯，还勉强留在世间。此去夜郎，山高路遥，此生可能就要终老于那蛮荒僻静之地，就如同吴指南一样，死在他乡，葬于他乡，永世只能安睡在异乡的黄土陇中。
离情别绪萦绕于心，两岸景色如画，却不能看在眼中。想起近来的遭遇，连叹息声也淹在了心底。
峡谷间飘起了雪花，两岸山岭都顶着冰雪，肃然而立。船工们不惧严寒，打着赤膊摇橹，一面唱起了竹枝词：
白雪飘飘满山头
江水悠悠在下头。
站在船头高声唱，
白雪不飘水不流。
李白听了，不由得破颜一笑，船工觑见了，高声地说：“那位客官，走了十几天，第一回看你有了笑容。可见小可的歌儿唱得好，不笑的人都被逗得笑了。请问客官，小可的歌子为甚么惹你发笑”
李白说：“你看，白雪分明在飘，江水分明在流，你们却大言不惭，说什么‘白雪不飘水不流’。”