隋初定都长安。公元604年,杨广杀其父隋文帝夺取皇位,他便是历史上以骄奢著称的隋炀帝。他认为关中与山东、江南、河北等地,道路遐远,“兵不赴急”,应将都城东迁,于是立即下诏营建东都洛阳。接着,又陆续发令穿凿以东都为中心、通向江淮、河北等地的大运河,以加强对这些主要经济区的联系和控制。
最先穿凿的是通济渠,凿于隋炀帝大业元年(公元605年)。通济渠可分西、中、东三段。西段以东都洛阳为起点,以洛水及其支流谷水为水源,在旧有渠道阳渠和自然水道洛水的基础上扩展而成,到洛口与黄河会合。由于古阳渠又称通济渠,人们就把这一名称由西段扩大到了中段和东段。