李宗仁返抵南京的当晚，城里已经是一片败退景象。他想到屡屡遭到蒋介石的暗算，不觉百感丛生，即与左右亲信商议，决定同蒋分道扬镳，各行其是。第二天，他乘“追云”号专机飞离南京，未去广州，而是飞往桂林。接连数晚，李宗仁与广西军政要员聚于私邸谈论时局。他们认为，失败已经注定，蒋介石必然凭借优势的海空军，退保台湾一隅，建立一个小朝廷。到那时，我们在大陆全部溃败，恐怕想进入台湾谋一枝之栖也不可能。一些军政头目联名向李宗仁提出：“广西省内尚和平稳定，桂籍军队亦尚有二三十万人，据险而守，与中共作有条件的和谈。”然而，李宗仁要与蒋介石分道扬镳，必须得到白崇禧的支持。4月18日，他派程思远专程去武汉，接白崇禧到桂林商事。白一见程思远，就指责李宗仁“庸而好自用”，一误再误，“是一个扶不起来的人”，经程苦劝，才同意回桂林。蒋介石见李、白之间已出现裂痕，便使出惯用的手法，拉拢白崇禧，分化桂系。后来，在白崇禧等人的压力下，李宗仁被迫前往广州。5月21日，他发表《告全国同胞书》，重申“戡乱”到底的决心，号召“反共到底”，在政治上又一次与蒋介石同流合污；在军事上，提出把汤恩伯部调往大庾岭一线，与解放军决一雌雄的部署。结果，上海解放，长沙起义，国民党军也按蒋的指示将通往广州的关卡全部放弃。蒋介石与李宗仁的关系又一次恶化。

    9月中旬的一天，李宗仁特地打电话约蒋介石单独谈话。二人坐定之后，李宗仁对蒋介石说的第一句话便是：“今天我是以国家元首的地位来对你谈话。”他首先搬出国家的最高名器，就是要压制蒋的妄自尊大的心理，而服服帖帖地静听李对他的指斥。

    李宗仁把蒋过去的过失和罪恶一件件地数给他听，并说：“你过去每把事弄糟了，总是把责任和过失推到别人身上。例如东北剿共的失败，徐蚌会战的全军覆没，你说是军队不听你指挥；又如发行金圆券，引起全国经济恐慌，人民破产，自杀成群，你不躬自反省，反责备人民不拥护你的经济政策；再如你纵容特务，滥捕学生及爱国人士，引起舆论指摘，你不自疚，反说是本党同志不听你话所使然……凡此种种，真不胜枚举！”他接着说：“你此番已是第三次引退，你当时曾对张治中、居正、阎锡山、吴忠信各人一再声明，五年之内决不过问政治。此话无非暗示我可放手去做，改弦更张，不受你的牵制。但事实上你所作所为却完全相反。不仅在溪口架设七座无线电台，擅自指挥军队，且密令京沪卫戍司令汤恩伯亲至杭州逮捕浙江省主席陈仪，并擅派周碞接替。嗣到台湾之后，复命汤恩伯到福建挟持福建省主席朱绍良离闽，擅派汤氏代理福建省主席兼绥靖主任。凡此皆属自毁诺言、目无政府的荒唐行为！”蒋介石默坐听李历数其过失时，面色极为紧张尴尬。当李有所责问时，他只是支支吾吾，讷讷不能出口。最后竟含笑向李宗仁道歉，请他原谅。李宗仁言语已尽，不再多言，起身告辞，蒋也跟随下楼，送李登车而别。蒋、李终于割袍断义，再未晤面。

    11月间，白崇禧所指挥的华中部队彻底溃败，李宗仁在政治上赖以生存的条件也就随之而消失。11月20日上午，他以胃病复发为由，从南宁乘专机飞往香港，当天就住进太和医院。此后，他又严辞蒋介石派出的几伙说客的劝告，于12月5日携其夫人郭德洁、长子李幼邻、次子李志圣及下属和秘书等十余人由香港飞往美国，医治胃溃疡。在李宗仁出国后的不到两个月的时间内，大陆已经基本解放，回大陆已不可能，而去台湾无异于自投罗网，“恐欲求张汉卿第二也不可得了”。

    无奈他只有在美国暂居下来。

    李宗仁赴美不归，还占据着“代总统”的名位，这让急需名正言顺地复职重当“总统”的蒋介石非常不满。台湾“监察院”、国民党中央非常委员会一次次地致电李宗仁，促其返台，都被李宗仁一一借口回绝。1950年2月21日，国民党中央非常委员会再电李宗仁，限其三日内返台，否则放弃“总统”职务，如不照办，则由蒋复职。3月1日，蒋介石在台湾宣布“复职”。李宗仁立即在纽约举行记者会公开指责蒋复职是违宪之举。其实李与蒋打交道数十年，明知斥责无济于事，但他偏要做出“总统”的样子，不过是想保持一点尊严罢了。

    蒋介石在台复位，李宗仁决定定居美国，但他们的争斗仍在继续。当李闻知蒋欲做终身“总统”时，特于1954年1月致函蒋介石：

    迩者，总统六年任期届满，正是吾侪还政谢罪之时，岂意私心恋栈，竟欲令第一届国民代表大会违法选举第二届正副总统，舆论哗然，国际侧目。中外人士，均认为此种选举，违法乱纪，决不可行。深望深长考虑，以免蹈袁世凯、曹锟之覆辙。

    蒋介石对李的信不予理睬，他讨厌李在美国指手画脚，说三道四，于是指示“监察院”提出“弹劾副总统李宗仁违法失职案”，然后经“国民大会”投票表决，罢免了李宗仁的“副总统”职务。从此，李宗仁成了流落异乡的一介平民，与蒋介石的最后一丝联系也断绝了。