刘备入主徐州惹怒了一个人，袁术。
听说刘备取代陶谦当了徐州刺史，并一改与自己结盟的现状转投袁绍，这让袁术无法释怀。袁术一向心高气傲，本来就瞧不起刘备，他曾对人说：“我袁术生平还从来没有听说过天下还有刘备这个人！”
袁术说干就干，率兵挥师北上，直取徐州。刘备不敢怠慢，赶紧整顿人马南下迎击，双方在徐州刺史部南部的下邳国、广陵郡一带交战，这里就是如今的洪泽湖地区。
建安元年（196）春天，就在曹操把献帝接到许县的时候，刘备率关羽等南下迎击袁术，让张飞留守下邳。曹操听说刘备和袁术开战，对刘备给予了支持，以朝廷的名义任命刘备为平东将军，封宜城亭侯。曹操这么做是拉住刘备，坚定刘备与袁术斗争的信心。尽管刘备收容吕布让曹操不快，但为大局着眼，曹操还是把刘备当成自己人。对曹操来说，夺取徐州是上策，不战而把徐州由敌人转化为友军也是可以接受的。
刘备已经取得了徐州刺史的职务，但他还没有新的军职，刘备的上一个军职是公孙瓒授予的别部司马，平东将军在杂号将军之上，相当于军区或兵团司令，刘备的军职一下子升了好多级。张飞此时的军职仍然是司马，在下邳城比他职务高的有曹豹，他是下邳国相，相当于郡太守。还有陶谦的旧部许耽，职务是中郎将，也比张飞高得多。
这样势必会产生矛盾，张飞是刘备的亲信，是后方的实际负责人，但职务却不高，更重要的是，刘备率嫡系南下后，下邳城的防务以陶谦的旧部为主，很容易出问题。张飞是一员猛将，打仗比较在行，但处理复杂微妙的局面可能不拿手。如果刘备此去很快获胜，徐州倒不会出现大的闪失，但如果打了败仗或者陷入长期僵持，那就不好说了。
而这一仗，恰恰打成了拉锯战，刘备和袁术在淮阴的石亭一带交战，双方互有胜负，形成对峙的局面。从人数上说袁术占优，但从士气上看刘备更旺。袁术挺郁闷，连名不见经传的刘备都打不过，他一定觉得自己简直没法混世界了。
有人看到了这种局面，立即意识到机会来了。
这个人是吕布，他见刘备主力南下，于是乘虚袭取了刘备的后方，曹豹偷偷迎接吕布，夺取了刘备的下邳城。吕布到了小沛，并不甘心给刘备站岗放哨，他曾偷偷地给袁术写过信，这封信里都写了些什么不详，袁术给他的回信却保存了下来，在信中袁术大大地夸奖了吕布，为拉拢吕布对抗刘备，袁术表态说愿意提供20万斛粮食给他，近年来除了兵荒还有天灾，粮食稀缺，吕布在兖州被曹操打败，一个重要的原因就是缺粮，吕布深知没饭吃是什么滋味，20万斛粮食对吕布来说是一个巨大的诱惑。
吕布也想干，袁术也想干，双方一拍即合，就干了。除此之外，想干的还有上面提到的曹豹，作为陶谦的旧部，刘备到徐州以后心情有些郁闷，和张飞之间又有些矛盾，所以也想干一回，曹豹也派人秘密联络了吕布。
吕布接到袁术的信很激动，又有曹豹主动投靠，愿意充当内应，就更不多想了，立即引兵由小沛杀往下邳，负责下邳城防务的中郎将许耽派一个叫章诳的司马来见吕布，报告了下邳城里的最新情况。
吕布这才得知下邳城发生了重大变化，张飞把曹豹杀了，城中已经大乱。章诳告诉吕布城里现在人心惶惶，大家互不信任，张飞根本控制不住局面。丹阳兵有1000人屯驻在下邳城的西门，听说吕将军要来大家都特别高兴，好像看到了生的希望，章诳建议吕布引兵向西门，丹阳兵自会开门相迎。
吕布于是连夜进兵，于清晨时分来到下邳城下，丹阳兵果然打开西门，吕布进城。吕布把临时指挥所设在下邳城西门城楼上，在这里指挥手下人马和丹阳兵四处放火，大破张飞。
张飞逃出城，刘备的妻子甘氏以及刘备手下将士们的家眷，还有大量军用物资都落入吕布手中，吕布没费多大的代价就抄了刘备的老巢，夺取了下邳城。
在前线作战的刘备听到后方有变，如雷轰顶，顾不上袁术，立即回师。刘备手下将士知道家里出了事，眷属们都在吕布手里，心里面已经大乱。刘备看到这样子回下邳根本没有战胜吕布的希望，只好带着人马再次南下，试图寻求与袁术决战，但被击溃。
前后都有强敌，刘备陷入绝境。今江苏省灌南县在东汉属徐州刺史部广陵郡的海西县，现在它是个内陆县，东边还有响水等县，而在东汉，响水县和滨海县一带数千万平方公里的土地尚不存在，这里是一片大海，海西县是个典型的滨海县。在群雄争霸战中，这里并不是各路军阀争抢的要地，虽然经济比较落后，但还算安宁。
建安元年（196）秋天，这里突然来了一干人马，顿时制造出紧张的气氛。这支人马有数千人，像是在别的地方打了败仗退到这里的，人不齐、马不整，还有许多伤兵，士气十分低落。海西是个小县，一下子涌来了这么多人，吃饭都成了问题。这就是刘备率领的残兵败将。刘备一行来到这里，没吃的没喝的，不知道该往哪里去，饿极了，甚至发生了人吃人的惨剧。
落到现在这个局面，刘备怪不了别人，要怪只能怪自己，他十分懊悔。但是后悔是没有用的，现在要考虑的是怎么办，不说下一步如何翻身，就说如何解决这几千人的吃饭问题，都够难的。没有吃的，缺少粮食，几天还能克服，时间再长，人马就得一哄而散。
在这个最艰难的时刻，随军出征的徐州别驾麋竺给了刘备以最大支持。麋竺是亿万富豪，家底很厚，麋竺和兄弟麋芳散尽家财支持刘备，同时集合了仆人、宾客和族人共2000多人加入到刘备的队伍中。甘夫人落入吕布手中，生死不详，麋竺把自己的妹妹嫁给刘备当夫人。
麋竺是汉末商人从政的成功代表，在刘备事业最低谷时倾全力支持，看得出他不仅会理财，还很有政治头脑。在麋氏兄弟的大力支持下，刘备暂时可以不用下海当渔民了，但前途仍然黯淡。
走投无路之下，刘备做出了一个让人不可思议的决定，他要向吕布投降。换成袁绍或袁术，事业从巅峰一下子落入低谷，肯定会一蹶不振，说不定直接气得吐血而死，让他们弯下腰来向对手低头，那怎么可能？这种事只有吕布能做出来，因为他的脸皮厚，面子也不值钱。