我国古代很早就有利用自然水源修筑人工河道、灌溉农田和进行运输的历史。据史书记载，春秋时期，吴王夫差为了进攻齐国，运兵运粮，征调大批民夫，在长江、淮河之间开凿一条运河，叫做“邗沟”。这就是后来大运河在江苏境内的一段。两汉至南北朝时期，相继修建了一些渠道，这些渠道虽然断断续续，却使大运河的开凿，在江南和中原地区初具规模了。
随着南北政治、经济和文化的发展，修凿的局部运河，已不能满足社会需要。早在两汉时期，我国的经济重心是在黄河流域，北方的经济比南方进步很多。据司马迁说，直到汉武帝时，长江以南的农业生产仍然是“火耕水耨”。三国以后，特别是在五胡十六国时期，由于长期战争，人民大量南迁，他们用先进的生产技术，和南方人民共同开发富饶的处女地。江南的经济有了显著的发展。而两浙，特别是会稽郡(今浙江绍兴一带)是“亩值一金”，士族门阀盘踞之处，其肥沃程度可与陕西关中相媲美。隋朝建立后，建都长安，其政治统治中心在北方，而北方的城市和边防军的粮食，大多要依靠江淮地区供应。陆路运输要依靠马车和人力车，不仅运量小，速度慢，而且费用很大，却仍无法满足北方各地的需求。利用水路运输，是较为经济实惠、切实可行的办法，所以，开凿大运河，成为社会经济发展的迫切需要。
隋朝统一中国后，人民得到安定的社会条件从事生产，社会经济逐渐恢复。十几年后国家也积累了大量的物质财富。这也为修造贯穿南北的大运河提供了必要的条件和可能性。
早在隋文帝时期，就开了广通渠和山阳到江都的邗沟。公元584年，隋文帝为了漕运(即河运)的便利，令当时著名的建筑大师宇文恺率水工开广通渠，引渭水从大兴城(今西安市)到潼关，与黄河相接，长300里。广通渠开通后，便利了关内漕运。公元587年，隋文帝又沿着春秋时吴王夫差所开邗沟的旧道，南起江都，北至山阳(今江苏淮安)，沟通江淮。隋文帝利用这条渠道运兵运粮，为用兵江南作准备，第二年，隋即出兵灭掉陈国，统一了中国。但是，大规模开凿修建大运河，还是在隋炀帝上台以后。公元605年，隋炀帝征发大批士兵和民役开始修建，到610年底，大运河工程基本完成，前后费时6年。