这次全军大比武对于提高全军的军事素质和战斗力起了重要作用，但这一做法却并不符合林彪此时的治军思路。1960年，林彪曾提出部队的政治“四个第一”的观点，即人的因素第一、政治工作第一、思想工作第一、活的思想第一。全军大比武显然与他的“四个第一”不一致。因此，对于这次全军大练兵和大比武，林彪起初采取的是静观的态度。后来觉得有文章可做，就派叶群等人到广州军区当年他参加南昌起义时所在的连队等基层单位搞调查。调查中发现有些单位军事训练占用的时间多了一些，比武中个别单位有锦标主义、形式主义等问题。于是，林彪、叶群抓住这些问题不放，指责大比武是单纯军事观点，冲击了政治。

    1964年11月30日，林彪借全军组织工作会议召开之机，提出了“突出政治”。他说：“各级党委一定要把政治思想工作放在首要地位，一定要突出政治”。12月29日，林彪又紧急召见总政治部领导人，批评说：现在出现了不好的苗头，军事训练搞的太突出，时间占的太多，军政工作比例有些失调，冲击了政治。林彪还强调，军事训练等“要给政治工作让路”，“时间上谁让谁的问题，基本上要确定一个原则：让给政治。”他甚至说，军事训练不应冲击政治，相反政治可以冲击其他，并要求1965年应当着重抓政治。林彪的讲话作为《关于当前部队工作的指标》下发全军贯彻执行。在林彪的压力之下，大比武活动就这样偃旗息鼓了。

    罗瑞卿不同意林彪对大比武的批评，认为“1964年军事训练工作是建国以来最好的一年”，“去年是不是冲击了政治、冲击了学毛著？主要的不是，有一些是，主要的我看不是。”对于林彪关于“突出政治”的指示，罗瑞卿说：政治“也不能乱冲一气”。以后，罗瑞卿又多次提出，不要搞空头政治，说：“如果单纯把政治搞好，别的都不好，垮下来，这种政治恐怕不能算政治好，是空头政治，哪里有这种政治!”“军事训练搞不好，浪费事小，打起仗来就要亡党亡国”。

    本来在大比武这件事上，林彪就认为罗瑞卿不听话，同他有二心，产生了要将罗整下来的想法。1964年5月，毛泽东提出培养革命事业接班人的问题，要求每个人都要准备接班人，还要有三线接班人。在贯彻执行毛泽东指示的过程中，罗瑞卿曾就新老干部交替问题向林彪作过汇报，并曾讲过有些老干部应当主动“让贤”之类的话。一向多疑的林彪听了，认定这是罗瑞卿要他让贤，更坚定了打倒罗瑞卿的决心。

    可是，仅一顶“不突出政治”的帽子，还不足以整倒罗瑞卿。于是，从1965年下半年起，林彪就授意李作鹏等人写揭发罗瑞卿的材料。1965年11月30日，林彪写信给毛泽东说：“有重要情况需要向你报告，好几个重要的负责同志早就提议我向你报告。我因为怕有碍主席健康而未报告，现联系才知道杨尚昆的情况，觉得必须向你报告。为了使主席有时间先看材料起见，现先派叶群呈送材料，并向主席做初步的口头汇报。如主席找我面谈，我可以随时到来。”

    同一天，叶群坐专机到杭州，单独向毛泽东作了几个小时的汇报，至于汇报的内容，用中央文献研究室编写的《毛泽东传（1949—1976）》中的话说：“现已无从知道。”因为汇报是单独进行的，自然没有留下记录。但据几天后叶群在上海会议上的发言了解，揭发的内容大致是罗瑞卿要夺军权，罗瑞卿一贯反对突出政治、反对毛泽东思想、存在单纯军事技术观点等。

    当年中央警卫团负责人张耀祠曾安排叶群向毛泽东汇报，因为叶群谈话的时间太久，他还三次进去催叶早点结束谈话。据他回忆：