1950年3月，陈诚随着蒋介石复职“总统”，出任“行政院长”。1954年2月15日至16日，国民党第七届中央委员会举行临时全体会议，推选国民党“总统”、“副总统”候选人。16日，蒋介石以国民党“总统”候选人的名义，提名陈诚为国民党“副总统”候选人。3月22日，在“总统”选举中，蒋介石经两轮投票，以绝对多数票当选。“副总统”的选举，也经过两轮投票。第一轮以得票未超过“法定”代表的半数，未能通过。在24日进行的第二轮投票中陈诚得1417票，当上了“副总统”。“行政院长”由俞鸿钧继任。

    陈诚在就任“副总统”三年后，即1957年，被推上了台湾政坛和自己宦海生涯的巅峰。这一年，他经蒋介石提名，被推选为国民党副总裁。下一年春，任职“行政院长”不满四年的俞鸿钧因遭弹劾而下台，蒋介石只好再请陈诚“组阁”。这样，他成为台湾身兼“副总统”、“副总裁”和“行政院长”三要职，位居蒋介石一人之下、千万人之上的“二号人物”。

    陈诚在台湾政坛中的稳固地位，得力于国民党的改造运动。由蒋介石一手主持、陈诚积极参加的国民党改造运动，对于退居台岛一隅的国民党当局来说，乃是一次“吐故纳新”，是关键的一着棋。

    对于国民党政权在大陆的失败，蒋介石认识到“戡乱失败的最后一步，还是在党的失败，而党的失败的主因，是在三民主义信仰的动摇”。此时，除了儿子蒋经国，他实际上已不真正信任任何人了。他在后来向国民党七全大会所作的政治报告中说：“我从下野到复职的这一期间，经过了深长的考虑，最后决定一定要改造本党，认为这是改革政治和改造风气的动力。”

    1950年8月31日，中央改造委员会通过了由蒋介石主持制定的《本党现阶段政治主张》，这是国民党改造运动中的纲领性文件。其要旨如下：（1）用决心和信念革新党的组织，整肃党的纪律，改变党的作风，实现三民主义；（2）恢复“中华民国”领土主权完整，团结一切力量，坚持“反共抗俄”战争；（3）实行民主主义经济措施，使各行各业有均衡发展之机会；（4）保障人民基本自由，建立“廉洁而有作为”的政治；（5）“反攻”时期严惩“元凶首恶”，实行军民分治，推行“地方自治”；（6）加强“全国”军民同胞的团结。

    陈诚积极参与的国民党改造工作，前后共经过了两年时间，至1952年10月9日，即七全大会召开的前夕，在蒋介石亲自主持下，举行了中央改造委员会的最后一次会议——第420次会议。会议宣告了中央改造委员会工作的结束。自此，在大陆时期的“元老”们全部退出政坛，一大帮新面孔在台湾党政军中崛起。陈诚、蒋经国成为台湾政坛中炙手可热的人物。当然，陈诚也很清醒，蒋介石重用他，是要他帮小蒋一把。

    虽然陈诚尽可能提携、帮助蒋经国，但对两蒋的工作作风仍有一些不能认同，甚至出现抵制。蒋介石对陈诚的忠心是不怀疑的，可要是影响到蒋经国的接班，那又当别论。有一年陈诚过生日，邀请胡适、蒋梦麟、梅贻琦、王世杰南下旅行庆祝。香港媒体将此事渲染为现代的“汉惠帝与商山四皓”，让蒋介石开始有了心结。陈诚心知肚明，决心辞去“行政院长”之职。蒋介石见陈诚如此，知道他不再是传位的“障碍”，于是继续利用他。直到1963年底，蒋介石才同意陈诚退下来。

    陈诚主政台湾期间，秉承蒋介石意旨，一直叫嚷“反攻大陆”，并将其作为对台湾军民进行“精神动员”的一条中心口号。1962年初，陈诚参加了由蒋介石为首、5人组成的“反攻行动委员会”，负责作出“反攻大陆”的各项最高决策。然而，历史注定了“反攻大陆”的计划只是说说而已。1961年陈诚访问美国，美国国务院将1955年以来中美大使级会谈的记录拿给陈诚看，意图拉拢陈诚。陈诚看后对人说：“中共拒绝美国一切建议，而坚持美国舰队及武装力量退出台湾的做法，不受欺诈，不图近利，是泱泱大国风度。”大陆朋友几次给他写信后，他托人转告大陆，他会向历史有个交待。