，肯定会卷土重来。咱们不如分兵两路，一路由您亲自率领，驻守濮阳，另一路由我率领，驻守其他城池，互相呼应。这样一来，曹操来了，咱们可以前后夹击，让他首尾不能相顾。”可吕布根本不听陈宫的建议，他觉得自己武艺高强，曹操根本不是对手，没必要这么麻烦。他不仅没分兵，反而整天在濮阳城里喝酒作乐，对手下的士兵也不怎么约束，导致军纪越来越松散。
曹操这边呢，虽然吃了败仗，但他并没有气馁，而是重新整顿军队，收拢逃散的士兵，还积极拉拢兖州的地方豪强，争取他们的支持。过了几个月，曹操觉得时机成熟了，就再次率军攻打吕布。这一次，曹操吸取了上次的教训，不再跟吕布硬碰硬，而是采取了迂回战术，先攻打兖州的其他城池，把吕布的势力一点点蚕食掉。
吕布见曹操来势汹汹，就率军去救援那些被围攻的城池，可每次他一离开濮阳，曹操就又回过头来攻打濮阳。吕布来回奔波，疲于应付，手下的士兵也越来越疲惫，士气越来越低落。就这样打了半年多，吕布的势力越来越小，最后只剩下濮阳一座孤城。
公元195年，曹操终于对濮阳发起了总攻。这一次，吕布虽然还是很勇猛，亲自上城指挥作战，杀了不少曹军士兵，但城里的粮草已经快用完了，士兵们也没了斗志。有些将领见大势已去，就偷偷打开了城门，放曹军进城。吕布见城池守不住了，只好带着陈宫、高顺等几个亲信，杀出一条血路，逃出了濮阳。
兖州是待不下去了，吕布只好又开始四处流浪。这时候，徐州的陶谦刚去世，刘备接替了陶谦，当了徐州牧。吕布听说刘备为人宽厚，就带着自己的人马去投奔刘备。刘备见吕布走投无路，又觉得他是个有名的勇将，就收留了他，还把小沛这个地方给了吕布驻扎，让他暂时有个安身之处。
可吕布这个人，从来就不是安分的主。他在小沛待了没几个月，就又开始动起了歪心思。当时，袁术派人去拉拢吕布，许诺给他二十万斛粮食，还有不少金银珠宝，让他在刘备率军攻打袁术的时候，趁机夺取徐州。吕布一听有好处，又动心了，立刻就答应了袁术。
果然，没过多久，刘备就率军去攻打袁术，徐州城里只剩下张飞驻守。吕布趁机率领大军，偷袭徐州。张飞虽然勇猛，但当时正在喝酒，喝醉了之后根本无力抵抗，只能带着几个亲信逃走。吕布没费吹灰之力，就占领了徐州，还俘虏了刘备的家眷。
刘备在前线听说徐州被吕布夺了，气得差点吐血，可又没办法，自己的军队打不过吕布，只好又回过头来，向吕布投降。吕布见刘备来投，倒也大方，把小沛又还给了刘备，让他在那里驻守，自己则在徐州当起了徐州牧。就这样，刘备好心收留吕布，最后却被吕布反咬一口，丢了自己的地盘，这也成了吕布“反复无常”的又一个铁证。
吕布占据徐州之后，袁术又派人来跟他提亲，想让自己的儿子娶吕布的女儿，两家结为亲家，一起对付刘备和曹操。吕布一开始答应了，可后来刘备派人来劝说吕布，说袁术要是跟他结了亲，以后势力会更大，到时候吕布也会被袁术吞并。吕布一听，觉得有道理，就又反悔了，不仅把袁术的使者给抓了起来，还把他送回了袁术那里，两家的婚事也就这么黄了。
袁术见吕布出尔反尔，气得不行，立刻派大将纪灵