百姓参与守城。这种分军的做法既是为了应对綦公顺可能的再次进攻，也是为了在战乱时期维持城中的稳定和凝聚力。
刘兰成因击退綦公顺起义军有功，被推举为其中一军的统帅。然而，郡中有一名叫宋书佐的官员，心怀嫉妒，暗中挑拨道：“刘兰成深得人心，若不除之，日后必成大患。不如趁早杀之，以绝后患。”
众人虽对刘兰成心存敬意，但在宋书佐的蛊惑下，见利忘义，最终决定剥夺刘兰成的兵权，将其交由宋书佐统领。
刘兰成见众人如此对待自己，心中悲愤，但又无可奈何。他明白若继续留在城中，终将招致祸患，便连夜逃出城去，投奔了綦公顺。
綦公顺得知刘兰成来投，大喜过望，军中将士亦欢呼雀跃，纷纷提议推举刘兰成为主帅。刘兰成却坚决推辞，说道：“我本为保郡城而来，今虽不得已投奔，但不敢僭越。”
綦公顺见他态度坚决，便任命他为长史，军中事务皆听从他的意见。
刘兰成在綦公顺军中韬光养晦，暗中谋划。五十多天后，他挑选了一百五十名精锐士兵，准备对北海郡城发动一次奇袭。
他将军队分为数队：在距离城四十里的地方，留下十人，命他们割草并堆成百余堆；在距离城二十里的地方，留下二十人，各执大旗；在距离城五六里的地方，留下三十人，埋伏于险要之处；刘兰成亲自带领十人，趁夜潜伏在距离城一里左右的地方；剩下的八十人则分散在便于行动的位置，约定听到鼓声后立即抢夺人畜，并迅速撤离，同时点燃草堆。
次日清晨，城中守军见远处并无烟尘，以为城外已无敌军，便放松了警惕，百姓纷纷出城打柴放牧。日上三竿时，刘兰成带领十人直抵城门，城上守军见状，慌忙敲响锣鼓。
听闻鼓声，刘兰成先前埋伏的伏兵四出，抢走了十几头牲畜和一些打柴放牧的百姓。
刘兰成在城门处与守军对峙片刻，估计抢掠的伏兵已经走远，便率众缓缓撤退。城中虽派出追兵，但因担心有埋伏，不敢急追，又见前方旌旗招展、烟火四起，便不敢再进，只得退回城中。
事后，城中守军得知刘兰成此次行动仅带了少数人马，后悔不已，叹息未能穷追不舍。然而，为时已晚。
一个月后，刘兰成再次谋划夺取北海郡城。他带领二十人直抵城门，城中守军见状，以为此次刘兰成还是带领为数不多的兵力，便纷纷出城追击。刘兰成且战且退，将追兵引至十里之外。
此时，綦公顺率领大军突然杀到，郡兵大惊，急忙回撤。綦公顺乘势进军，将郡城团团围住。
刘兰成站在城下，高声劝降：“城中百姓、将士，何必为无谓的抵抗白白送死？若能开城投降，我必保你们平安！”
城中军民早已疲惫不堪，听闻此言，纷纷出城投降。刘兰成入城后，安抚老幼，礼遇郡中官员，甚至对曾陷害自己的宋书佐也以礼相待，并资助他离开郡城。郡城内外，自此安定。
刘兰成以其智谋与胸怀，不仅保全了郡城，也赢得了人心，成为当时北海一带的传奇人物。
当时，海陵的农民起义军臧君相听说綦公顺占据了北海，便率领五万部众前来争夺北海郡城。
唐初的海陵县一度改称吴陵县，是今天江