的粮饷、三千匹布，连一件铠甲、一把兵器都没给，还说：“豫州那边现在被胡人占着，刺史的位子，你自己去‘挣’。”
明眼人都知道，司马睿这是“画饼”——给个虚头衔，给点物资，让祖逖自己去折腾，成了最好，不成也跟他没关系。
可祖逖不在乎。他拿着司马睿给的“空头支票”，回到京口，召集了跟他南迁的几百家流民，说：“我要北伐，回中原，你们愿意跟我走吗？”流民们异口同声地说：“我们跟着您从北方逃过来，早就想回家了！您去哪，我们就去哪！”
就这样，祖逖带着这几百号人，坐上了北渡长江的船。
船到江心，江风刮得船摇摇晃晃，浪头拍打着船帮。祖逖站在船头，看着滔滔江水，突然抄起船桨，“啪”地一下拍在船帮上，对着身后的人喊：“兄弟们！我祖逖今天渡江，要是不能收复中原，不能把大家带回老家，就绝不再渡这条江！要是我食言，就让这大江把我吞了！”
这就是“中流击楫”的由来。几百号人看着祖逖，看着他坚定的目光，都跟着喊：“愿随将军北伐，不收复中原，誓不还！”声音在江面上回荡，连江上的渔民都停下船，看着这支“奇怪的队伍”——没有铠甲，没有兵器，只有一群想回家的流民，和一个发誓要带他们回家的将军。
渡江之后，祖逖先到了淮阴（今天江苏淮安）。这里是南北交界，比较乱，但也有很多流民。祖逖在这里竖起“北伐”的大旗，招募士兵，打造兵器。消息一传开，附近的流民纷纷来投奔。
短短几个月，祖逖就招募了几千人，打造了一批兵器铠甲，组建了一支真正的“北伐军”。他还制定了军纪：不许抢百姓的东西，不许欺负流民，打仗时将领要冲在前面。士兵们都精服他，因为他们知道，祖逖不是为了自己当官，是为了带他们回中原。
这会儿的祖逖，就像个“创业老板”——没融资（朝廷没给兵），没场地（豫州是敌占区），却凭着一股信念，拉了一支“创业团队”，准备跟“行业巨头”（石勒的后赵）硬拼。
祖逖的北伐之路，第一步是收复豫州。豫州就是今天河南东部、安徽北部一带，当时被三个势力控制：一是投靠石勒的豪强张平，占据谯城（今天安徽亳州）；二是另一个豪强樊雅，占据附近的坞堡；三是石勒派来的守军，在蓬关（今天河南开封附近）驻扎。
祖逖知道，要想在豫州立足，必须先打张平——谯城是豫州的重镇，拿下谯城，就能有个根据地。
他先派人去劝张平投降，说：“你本是汉人，却投靠胡人，帮着胡人欺负百姓，这不是大丈夫所为。要是你投降，我保你和你的部众安全，咱们一起北伐抗胡。”张平却不买账，还杀了祖逖的使者，说：“我跟着石勒有肉吃，跟着你有什么？你不过是个没朝廷支持的‘流民将军’，也敢来劝我投降？”
祖逖没办法，只好出兵攻打谯城。张平的城墙很坚固，手下也有几千人，祖逖打了几天，没打下来，还损失了一些士兵。
士兵们有点慌了，有人说：“将军，张平太能打了，咱们是不是先撤？”祖逖却很冷静，他跟士兵们说：“张平虽然能打，但他手下的人不一定都愿意跟他投靠胡人。咱们找机会把他们争取过来。”
没过几天，机会来了。张平有个部将叫谢浮