魏晋南北朝时期，郑州地区战乱不断，郑州地区的行政建置变化较大，加之魏晋后改郡县二级制为州、郡、县三级制，使这一时期的建置变化更为复杂。前220年，魏将辖区分为13州，州辖郡，郡辖县。郑州地区所在的河南郡隶属于司州。西晋灭亡后，羯人石勒尽陷司、兖、豫三州之地，占据中原。之后200多年间，政权更迭频繁，战乱持续不靳。郑州地区先后为赵、冉魏、前燕、前秦、后秦、北魏、东魏、北齐、北周辖地，地当要冲的荥阳城遭严重破坏，日趋凋蔽。北魏统一北方后，置北豫州，州治武牢（今荥阳市汜水镇），并于公元493年将蒙旧县城（今惠济区古荥镇）迁至大索城（今荥阳市老城）。时北豫州下辖荥阳郡、河南郡、阳城郡等郡。东魏天平元年（534年），在北豫州下置广武、荥阳、成皋三郡，三郡共辖荥阳、成皋、京等11县。北周灭北齐后，将北豫州改为荥州，州治成皋。这一时期，管城（今郑州市管城区）一直隶属于中牟县。

隋文帝杨坚于公元581年建立隋朝，结束了长期分裂割据的局面。开皇三年（583年），隋文帝实行州、县二级制，并将荥州改名为郑州，郑州作为州一级行政区名称，开始用指于今郑州地区（公元549年，东魏孝静帝将颖州改名郑州，谓最早的郑州，但州治在颍阴县（今许昌市魏都区）。开皇十六年（596年），隋改郑州为管州，州治自成皋移至管城，管城也于是年从中牟分出单独为县。因此开皇十六年（596年）可作为以管城为郑州地区政治中心时期的开始。隋大业二年（606年），管州复称郑州。

唐武德四年（621年），李世民进兵据武牢，平王世充，将郑州一分为二，属都畿道，将密县、荥阳等5县划归郑州，州治武牢。贞观元年（627年），又废管州及须水县，属县复入郑州。贞观七年（633年）“自武牢移郑州理所于管城”，此后一直到明初，郑州治所均设于管城县。