特别委员会虽不顾汪等之抵制而成立，但反对特别委员会的声浪亦随之而起。苏、浙、南京等省市党部表示不承认特别委员会的领导地位，其反对矛头多指向特别委员会内之“西山会议派”。“西山会议派”在中央特别委员会中分据要津，而该派在政治立场和人脉关系上，素与胡汉民接近，因此中央特别委员会的幕后支柱实系隐居上海的胡汉民。原来寄希望在蒋介石下野后便可重操中央大权的汪精卫，在特别委员会中仅获得几个委员空衔，未免大失所望。他在极度“痛心”之余，暗地策动唐生智和张发奎，企图从湖北、广东两地分头起兵，用武力对抗特别委员会。
唐生智本有控制湘、鄂、皖之个人野心。宁汉议和期间，他趁机整顿后方，解决两湖境内几支非唐系武装力量，完全控制了两湖地区。为了与控制特别委员会的桂系相抗衡，唐生智需要利用汪精卫的招牌以壮自己的政治声势。汪、唐于是在反对特别委员会这一点上气味相投，一拍即合。9月21日晚，两人商定成立武汉政治分会，控制湘、鄂、皖三省地盘，与南京特别委员会分庭抗礼。