在天国危急的时刻，洪秀全念念不忘的翼王石达开，此时却也已经穷途末路，虎落四川被犬欺。
宝庆大战失败以后，石达开被曾纪泽率部赶到了广西，他的部下石镇吉率军进入广西攻打桂林，一路从广西东部打到西部，比较重要一点的城市差不多都被他打过一遍，大量清军被他牵着鼻子四处救火，加上天地会在广西也很活跃，而这些都为石达开顺利杀进广西提供了很大的方便。
“兄弟们，我们只是暂时在这里修整，最终我们要到四川建立大业！”石达开这一次虽然在庆远停留长达八个月之久，但他似乎并没有留在广西根据地的打算，他来这里的主要目的是为了休整和训练军队，以便恢复战斗力后再来执行入川的计划。
但是，广西山区实在是太苦了，穷山恶水，外加毒蛇猛兽，简直就是原始人呆的地方，还吃不饱穿不暖。而且庆远是广西北部的一个山区，本来就地广人稀，加上连年战乱不断，比灾区的情况好不到哪里去，差不多就是个无人区，老百姓们还指望着有人来赈灾施粥，哪里还有粮食养活石达开的数万大军？
石达开只好让军队分散到各地去找粮食，结果被当地团练在背后捅了不少黑刀。连口饭都吃不上，远征还有什么前途？有消息传来说石镇吉的两万人在百色被广西巡抚刘长佑消灭，石镇吉本人也在安定被土司率领的“联防队”给活捉了，这使得本就前景黯淡的将士心头增添了一丝悲观气息。
就在石达开一面筹粮一边练兵的时候，部队发生大规模逃跑事件。带头逃跑的是武卫军宰辅蔡次贤，事发后他很快就被元宰张遂谋下令杀掉。
元宰是石达开手下最大的官，相当于宰相，是远征军的二把手，除了石达开就数他最大，这个职位是石达开在庆远时候册封的。从天京出走之后，石达开一直没有打出自己的旗号，用的还是“太平天国”这块老招牌。石达开在出走声明里讲得很清楚，自己并不是要背叛太平天国，而是要自己外出单干闯出一番事业，来报答天王的知遇之恩，要是打出了成果还是算太平天国的，所以他一直没有给远征军再立个什么国号，依然自称翼王，官制也没有变化。
但是广西确实太穷了，穷山恶水，粮食不足，士气低落。石达开觉得，应该利用在庆远休整的机会给大家加官晋爵，以调动部队的积极性，于是就有了元宰、宰辅、大军略、大国柱等一些具有石达开特色的官制出台，军制上也加上了旗和队这些单位。
与石达开的“胡萝卜”政策不一样，远征“铁杆派”代表张遂谋觉得还是“大棒”管用，所以他一直主张对分裂主义实行严打。他认为石达开放任自流的态度无异于纵容和鼓励，老这么不打招呼就走人，不处理一下是不行了，否则大家都来跟风，几十万的部队说散就散了，到那时候“悔之晚矣”。
随着困难的不断增加和军事上的连续失败，失望甚至是绝望的情绪在军中蔓延，手下对石达开的崇拜也开始逐渐转化为怀疑。石达开觉察到将士们开始对他有怨言，但是他没有想到竟然会有这么多兄弟集体开小差。
第一支脱离石达开回归天朝的分裂行动发生在1860年初，带头大哥是宰制傅忠信和制军谭体方，后来在安徽并入李世贤的部队；第二支是花旗军，带头大哥是郑玄和李鸿昭。花旗军是加入太平军的广东地区的天地会员，因为改编后旗色花样复杂而得名，后来在江西并入李秀成的部队；第三支队伍分裂过程稍微复杂一点，后旗宰辅余忠扶因为阻止部下回归而被带头大哥余明富所杀，部队脱离石达开后活动在四川和贵州一带。
这些分家的举动石达开一直没有采取强硬措施进行制止，因为他不想对自家兄弟举起屠刀，张遂谋当初杀死蔡次贤，无非是要用武力恐吓遏制分裂的再次发生，但是不久之后他就知道自己彻底错了。
在东归天朝的一片呼喊声中，石达开的“胡萝卜”和张遂谋的“大棒”都不管用。杀一个蔡次贤不但没有起到杀鸡儆猴的作用。1860年夏天，远征以来规模最大的分裂行动，终于不可遏制地爆发了，包括大军略扩天燕彭大顺、观天燕童容海、精忠大柱国朱衣点、吉庆元，他们都是跟随石达开多年的战将。跟随他们一起返回天京的还有数万太平军精锐，这支部队先后分成三拨历尽千辛万苦，陆续回到太平天国本部，加上沿途加入的流民，总数达到二十万之多，后被天王洪秀全诏封为扶朝天军，这件事在太平天国的历史上被称作“万里回朝”。
经历了系列分裂事件之后，石达开的处境更加艰难，加上石镇吉、何名标、地方起义军大成国冯天喜先后被湘军刘长佑部消灭，庆远就成了清军重点攻击的对象。
情绪低落的石达开带着剩下的数万将士全部撤出庆远，继续南下宾州，在此后的一个多月时间里辗转流动于上林、武缘、宾州等地。随着地盘不断缩小，石达开的处境更加艰难起来，攻打南宁没得手，脱离大队自谋生路的人数还在与日俱增，加上被清军招安叛变的、被清军和团练隔三岔五杀掉的，到1861年春天，石达开手里只剩下可怜的一万人。
为了生存下去，石达开不得不大力拉拢宾州附近的地方起义军，包括上林李锦贵、宾州谢必魁、宣化李青靛等地方小股部队，靠着这些小兄弟的帮衬，这样才勉强支撑到