隋炀帝所开运河，共三大段。一大段是由洛阳至江都，大业元年（605）修竣。自洛阳引谷水、洛水至黄河，再由荥泽（河南郑州北）引黄河水、疏通莨荡渠故道，经浚仪（河南开封）、宋城（河南商丘南）、夏丘（安徽泗县）至盱眙入淮河，这一段称通济渠。然后由山阳（江苏淮安）引淮河水疏通邗沟故道经高邮至江都入长江。这一工程，当年秋季竣工，”水面阔四十步（约60米），通龙舟；两岸为大道，种榆柳，自东都至江都二千余里，树荫相交”。
另一大段是由洛阳至涿郡（北京），大业四年（608）修。当时因”将兴辽东之役，自洛口开渠达于涿郡，以通运漕”。这一大段称永济渠。由荥阳北汾水入黄河处，与汾水相通，经新乡、汲县、黎阳（河南浚县东北）、洹水（河北魏县西南）、临清（河北临西）、清河、东光、长芦（河北沧州西）至今天津入潞水，再由雍奴（天津武清西北）直达涿郡。全长1000余公里。
再一大段是由延陵（江苏镇江）至余杭，大业六年（6I0）修，称江南运河。由延陵引长江水经曲阿（江苏丹阳）、晋陵（江苏常州）、无锡、吴县入浙江境，再经今嘉兴直达余杭入钱塘江，全长400余公里。