最早看上这块地方的是共产党人，他们像高敏感度的雷达，一下子就看准了这块地方山脉纵横，谷深林茂，最适合武装割据。他们在这里组织了黄麻暴动，成立了后来能征善战的红四方面军。在大别山的红军曾经发展到两个军6个师，还组建了4个独立师和一个少共国际团，总数达4.5万余人，地方群众武装发展到20万人以上。根据地发展到拥有6座县城，26个县的苏维埃政权，根据地面积达到4万余平方公里，人口达350万，创造了鄂豫皖红军和苏区的极盛时期。但随着张国焘的到来，在白雀园大肃反中，黄麻暴动的领导人和鄂东北苏区的创建者徐朋人、戴克敏、曹学楷、陈定侯、王秀松等人先后被害。大“肃反”给鄂豫皖苏区和红军造成了重大损失。1931年11月20日，陈昌浩在彭杨学校报告肃反经过时说：“这次共计肃清改逆（即改组派）一千人，富农及一切不好分子计一千五六百人。”徐向前在后来的回忆录中也讲：“将近三个月的‘肃反’，肃掉了两千五百名以上的红军指战员，十之六七的团以上干部被逮捕、杀害，极大削弱了红军的战斗力。”

　　这次大肃反，许多大别山的儿女没有死在敌人的枪口下，却倒在了自己人的大刀长矛下，这也给共产党及其红军带来极其不良的影响，红四方面军在敌人第四次重兵“围剿”下，得不到群众支持，甚至有部分地方“反水”，起来反对苏维埃政权，红军不得不被迫离开了大别山根据地，远征陕甘。

　　红四方面军走了，国民党军跟着就来了。据有关史书记载，国民党军占领大别山以后，喊出了“血洗大别山”的口号，对根据地实行灭绝人性的烧光、杀光、抢光的“三光”政策。第十二师在金家寨附近的柳树湾，一次就屠杀和活埋群众3500多人；在六安县上楼房，杀害共产党员和革命群众1200多人。第八十九师在黄安平头岭，一次屠杀群众2000多人。当时的国民党《中央日报》曾报道过鄂豫皖地区广大农村的悲惨景象：“逃生无路，水草捞尽，草根掘尽，树皮剥尽，阖室自杀者，时有所闻；饿殍田野者，途中时见……大小村落，鸡犬无声，耕牛绝迹。”此一情景，酷似古诗所云：“白首露于野，千里无鸡鸣。”

　　然后是中日战争爆发，日本鬼子接着就来了，在大别山区和国民党军开始了拉锯战。

　　国民党军第五战区在1938年徐州会战后撤至大别山区，和在江南的第九战区一起，于1938年6月至10月，集中110万的兵力，组织了武汉会战，在大别山区给日军以重创，消灭日军10万余人，国民党军也伤亡了22万余人。以后，第五战区在这里建立了抗日根据地，官兵依托大别山与日军周旋，给日军大量杀伤。1942年12月，日军发动了大别山战役，企图肃清坚持大别山抗战的第五战区国民党军官兵，给大别山人民的生命财产造成了重大破坏。仅在占领茅坪后，日军兽性大发，将镇中军民561人，无论老少尽皆屠杀，日本占领立煌县城后，又将全城付之一炬。有回忆文章称，国民党军收复立煌后，官兵驻足立煌街头，看到的是满目疮痍：到处是残垣断壁，尸骨遍地；更有甚者，日军把城中“庆祝元旦”的标语改成了“庆祝完蛋”。面对此情此景，在场的人皆泣不成声。

　　一个叫欧阳学卫的大别山人曾经采访了当年见证日本鬼子暴行的老人，详细记载了日军在大别山的无耻行径：

　　日寇侵占武汉后，将宋埠镇作为清剿大别山抗日根据地的基地，在宋埠镇西头（今麻城二中）以及镇东郊的自然村庄屈家巷，分别设置总部（当地老百姓称之为“弘部”），驻扎了大量战斗部队和后勤人员。

　　得胜的日本兵目中无人，狂妄至极。夏天只在腰间系一根带子，从裆里吊起一条白布兜住阴囊，就四处大摇大摆，在古老的文明之邦如入无人之境。兽性发起时，无论白天黑夜，也不分老弱病残，公然强奸、轮奸妇女。无助的妇女们用食油调和锅底灰涂在自己脸上身上，将自己弄得越脏越好。日本鬼子以为这些妇女患有传染病，虽不敢沾边，却咒骂她们是“东亚病夫”。