从1927年6月开始，大学区制在江苏、浙江及河北3省试行。但试行不到1年，便遭到各地教育界的反对。国民政府被迫于1929年8月下令停止试验。
1928年10月，国民政府被迫改大学院为教育部，原属大学院的中央研究院独立为中央学术研究机构，直属于行政院。教育部下设总务司、高等教育司、普通教育司、社会教育司、蒙藏教育司、编审处及体育、训育、医学、音乐、史地、国语、侨民等教育委员会。它的职权主要为：（1）管理全国学术及教育行政事务；（2）对于各地方最高行政官执行本部主管事项，有指示、监督之责；（3）根据本部的主管工作，对各地方行政长官下达命令和处分，认为有违背法令或越权者，可请由行政院院长提请国务会议议决后停止或撤销。
与此同时，国民政府也恢复各省教育厅。恢复后的各省教育厅，直属各省政府领导，成为省政府组织机构的一部分。省教育厅下设四个科，负责办理各科事务；并另设督学4～8人。其职权主要为：主管省内各学校、社会教育、教育及学术团体、图书馆、博物馆、公共体育场事务；在不抵触中央和省政府决定的范围内，有权对自己主管的工作发布命令。