，早就看不惯张平投靠胡人，偷偷派人去见祖逖，说：“我愿意帮将军杀了张平，献城投降，但求将军别伤害城里的百姓。”祖逖答应了。
当天晚上，谢浮趁张平喝醉，带人闯进他的营帐，杀了张平，然后打开城门，放祖逖的军队进城。就这样，祖逖没费多大劲，就收复了谯城。
可刚拿下谯城，樊雅就带着人来偷袭了。樊雅也是个豪强，跟张平是“老对手”，他怕祖逖下一步打他，就想趁祖逖立足未稳，把谯城抢过来。
那天夜里，樊雅的人偷偷摸进谯城，直奔祖逖的大营。祖逖的士兵刚开始有点乱，祖逖却拿着刀站在营门口，喊：“兄弟们！别慌！樊雅就这点人，咱们跟他拼了！”士兵们一看将军都冲在前面，也都鼓起勇气，跟樊雅的人打了起来。
打了半夜，樊雅的人没占到便宜，只好退走。祖逖知道，樊雅没那么容易认输，就派人去联合蓬陂坞主陈川——陈川也是个流民领袖，手下有几千人，跟樊雅有矛盾。陈川早就听说祖逖的名声，愿意跟他联手。
几天后，祖逖和陈川联手，再次攻打樊雅。樊雅腹背受敌，只好投降。就这样，祖逖彻底收复了谯城，有了第一个稳固的根据地。
消息传到江南，司马睿吃了一惊——他没想到祖逖真能打下谯城，赶紧派人给祖逖送了点粮食和兵器，还封他为“镇西将军”。
祖逖在谯城站稳脚跟后，下一步就是对付石勒。石勒是后赵的开国皇帝，羯族人，打仗非常厉害，被称为“后赵战神”——他从奴隶起家，杀了无数汉人，占据了北方大片土地。
石勒听说祖逖收复了谯城，很生气，派他的侄子石虎带着三万大军来攻打祖逖。石虎是石勒手下最能打的将领，曾经一口气打下十几个城池，根本没把祖逖放在眼里。
士兵们听说石虎来了，都有点怕——毕竟对方是三万精锐，自己只有几千人，而且装备不如人家。祖逖却跟士兵们说：“石虎虽然人多，但他的军队长途奔袭，粮草肯定不够；咱们在谯城有根据地，粮草充足，只要咱们坚守不出，拖垮他们，就能赢。”
于是祖逖采取“坚壁清野”的策略：把城外的粮食、百姓都迁到城里，然后关闭城门，不跟石虎正面打。石虎的军队到了谯城外，找不到粮食，也攻不下城，只好在城外扎营。
祖逖可没闲着，他天天派人去骚扰石虎的大营——白天派小队士兵去放箭，晚上派人生火，假装要偷袭，让石虎的士兵睡不好觉。石虎的军队本来就缺粮，又被折腾得没精神，很快就乱了。
有一天夜里，祖逖亲自带着一千精兵，偷袭石虎的粮道，把石虎的粮草烧了个精光。石虎知道后，没办法，只好下令撤军。祖逖趁机追击，打了个大胜仗，杀了几千个后赵士兵，还缴获了不少兵器铠甲。
这一战，让祖逖的名声传遍了北方——汉人百姓说：“祖将军能打退石虎，咱们有救了！”胡人则说：“祖逖太厉害，以后别惹他！”
石勒不服气，又派了几支军队来攻打祖逖，结果都被祖逖打败了。石勒这才明白，祖逖不是“软柿子”，是真能跟他硬拼的对手。
后来，石勒听说祖逖的祖先坟墓在范阳（祖逖的老家，当时被后赵占据），就下令：“谁也不许动祖逖祖先的坟墓，还要派人去修复，好好看守。”他还派使者去见祖逖