?太平軍攻城一天毫無進展，馮云山前來拜訪李云中，希望借點炸藥用于炸毀城墻，李云中派爆破營跟著馮云山去了，兩個時辰后，爆破營就回來了，原來桂林城下全是巖石什么的，挖不動。
    9月8日，一路尾隨追擊太平軍的廣州副都統烏蘭泰率軍到了桂林南郊的將軍橋。遠遠看到烏都統的旗幟，桂林城樓上的向榮心里高興啊，暗想這下有救了。
    李云中命令第二軍前去截擊，張遂謀用了在永安城繳獲的前膛炮，一炮就炸傷了跑在最前面烏蘭泰的大腿，后面跟著往前沖的粵軍嚇得掉頭就跑，只留烏蘭泰一個人在橋上呻吟，掙扎著向后面爬，留下一條觸目驚心的血跡。張遂謀看著烏蘭泰身穿官服，叫人把他抬了下去，因傷勢過重而死。
    這一幕，讓在城上的向榮看的心拔涼拔涼的，也讓龜縮在桂林城內的清軍陷入了深深的恐懼當中，太平軍士氣大振，攻起城來越發猛烈于是乎，在陣陣硝煙掩護下，太平軍眾將士架設云梯，頭頂用濕棉花包扎好的方桌，奮勇攻城，就連婦女、兒童都在一旁吶喊助威。9月15日，西門、南門、文昌門激戰不斷。18日，太平軍在象鼻山架起豬仔炮轟城，知府衙門中炮，嚇得知府躲進了水東門附近的會館之中，向榮看著不少官兵偷偷的往后縮，趕緊激勵士氣，大聲喊道：“城上的官兵每人每天賞銀一兩，殺賊寇一人，賞銀五兩。”守城清軍當真眼紅了，他們大多是一幫窮苦百姓，是被強逼上來，迭施槍炮、火罐、滾木、擂石，還有潑開水、燙粥、滾油。一時間城內城外炮聲隆隆，響震山谷。
    太平軍將主力六千人沿西門、南門、文昌門外一線扎營，形成了對省城桂林的半月形包圍。期間幾次命令、邀請李云中一起攻城，都被回絕，只得到不讓清妖援軍靠近城池一步的承諾
    9月20日，清軍屢次受挫后，又從湘、黔、川、豫、滇、閩、粵、徽、蘇、桂等十省調來了三萬多援兵，企圖將太平軍聚殲于桂林城下，李云中率全軍先一步到達漓江北岸，并勸太平軍撤退，李云中趁清軍立足未穩，發起攻擊，率先攻破清軍前鋒，潰兵又朝大營沖去，清軍大營變得混亂起來，連輜重都拋棄掉，倉皇逃跑。李云中領大軍繼續向北，直奔廣西最北邊的全州，傍晚全軍就抵達全州城下，李云中命人在城下扎營，也不攻城，全州城高墻厚，又窮又沒有戰略價值，李云中也不想白費功夫。
    全州知州和知縣在城內可擔驚受怕一夜，毒藥都準備好了，城內只有600守軍，就算強行征發百姓，也不過2000余人，城下有幾萬反賊，不用幾天，就得被破城。
    向榮站在城墻上看著援軍陸續進城，躊躇滿志，太平軍連夜倉皇逃竄，如此大功，不知朝廷如何獎賞，越想越是興奮，提督已是一品官，恐怕是要晉封爵位和虛銜，太子少保？哈哈。
    賽尚阿聽說太平軍正在攻打桂林，立即從永安移營荔浦，一天后由荔浦移營陽朔，賽尚阿坐擁重兵30000人，賴在陽朔壽陽書院，距省城130多里，就是不敢親自回省城指揮作戰，并一再以“身體多病”上奏，希圖推卸責任。直到9月26日才從陽朔到桂林，那時太平軍已撤離桂林一個星期了。
    江忠源可謂對賽尚阿失望之極，畏敵卻戰、推諉責任……聽說太平軍已從桂林移師北上，進軍湖南，生怕他們回去禍害新寧，也不請示賽尚阿就帶著楚勇追趕太平軍。
    “圣旨到”向榮興奮的看著前來傳旨的太監，率桂林官員跪下接旨。
    只聽那太監念道：“向榮有負圣恩，畏敵卻戰、謊報戰功，將其革職，貶為庶民，容許其在軍中戴罪立功。”
    精力俱疲的向榮只聽得心灰意懶，待太監念完圣旨，他連圣旨都忘接了，步履蹣跚的走到屋里收拾東西，準備回家養老。
    張國梁追上去，扶住向榮，道：“軍門，你沒事吧，這朝廷是怎么了，有功的不賞，貽誤戰機的也不罰。這還讓我們怎么剿匪。”
    向榮喝道：“閉嘴，朝廷是你可以誹謗的，這必定是小人在皇上面前進了讒言，你要留在軍中好好的效力。”
    “那你這是要……”張國梁看著心灰意冷的向榮問道。
    向榮拍了下他的肩膀，擺了擺手，不理愣在原地張國梁，走開了。
    李云中趕到蓑衣渡，只見河水深不見底，將收集來的船只運送將士過河，待全軍過河后，船只被太平軍先鋒接管。
    自從秦始皇下令修建靈渠，溝通湘江和漓江之后，湖南和廣西就相互影響了，特別是兵荒馬亂的時候，義軍在省內站不住腳的時候，就往鄰省殺去。
    大軍一進入湖南，就進入零陵府的地界，零陵府知府見大軍圍城，，軍隊都被調往廣西去了，城內只有300守軍，趕緊打開城門，魚竄鳥飛，朝衡陽逃去。
    這讓李云中驚喜交集，自起兵以來，還沒見過守城將領棄城而逃的情景，看來湖南并周邊幾省的軍隊都被調往廣西去了。李云中在零陵府成立大漢政府，自任漢王，打出“驅除韃虜，恢復中華”的政治口號，并要軍隊每到一地就宣布“耕者有其田，免稅三年”的口號。
    第一軍向道縣進攻，第二軍向桂陽方向行軍，李云中率第四軍和剩下