冯玉祥的电报到了南京，胡汉民、吴稚晖等“长衫佬”便借着冯的招牌，召开了会议。到会的是国民党的元老及高级将领，有白崇禧、何应钦、李宗仁、古应芬、邹鲁、吴稚晖、李石曾、张静江、蔡元培、顾孟余、何成浚、胡汉民等等共二十几位。吴稚晖第一个开的口，大意不外乎正在北伐，蒋氏不可以辞职，此举当使亲者痛仇者快，吴的话音没落，古应芬反驳道：“蒋先生自任总司令以来，错误种种，目空一切，专横自恣，独揽军政大权，这样下去，于国于军皆不利。”
方说完，何应钦站起来道：“蒋是自己要走的，他走得好。他走后咱们可以爱一爱国家了。”
白崇禧也站起来说：“革命是大家的事，不是他一个人的事，他走了很好，以后有事，可以大家商量。”
三个人这么一发言，会场上的气氛立时紧张起来。吴稚晖还要开口，李石曾从背后伸出手拉了他一把，嘴对着他自乐说道：“这是兵变，你不要老命啦！”李石曾这番话，吓得吴稚晖不敢再多说了。
蒋介石宣布下野当天，国民党元老吴稚晖、张静江、胡汉民、蔡元培、李石曾五人也宣布离职。晚上，蒋氏乘花车起程抵上海。到火车站送行的人不多。只有副官处长胡承祜、参谋处长陈焯、交通处长陆福庭。总司令部其他人没来，高级将领和中央要人均没来。蒋氏身边的人看到如此清冷的场面，想起4月间蒋氏到南京时受到的盛大欢迎，同是一地，同是一人，时仅数月，只因台上台下之别，情热两样，大家无不感慨人情冷暖，世态炎凉。