在原始社会里，生产力水平很低，人们大都聚集在有水的地方，依靠渔猎为生。水是人类生活的必需品，但有时它也给人类带来很大的危害。在同水打交道的过程中，人们逐渐认识了水的某些特性。如“利涉大川，乘木有功也”（《易经》），意思是骑着木头有利于过大河，懂得了“水能浮起木头”的道理。随着社会生产力的发展，生产工具也在不断改进，人们已有可能“编木为筏”，与此同时还能利用火烧和石刀、石斧的砍凿，把大原木挖空，做成独木舟，这样人们就能方便地在水上活动了。至于古代传说中提到黄帝的大臣共鼓、货狄发明舟，部落首领颛顼[zhuān xū专虚]发明浆、篙，帝喾发明舵和橹，尧发明纤绳等等，从根本上说，这些都是人民群众的创造。
商朝的甲骨文上有“舟”字，当时已经有木板船了。据甲骨卜辞记载，在商代后期，航运往往被奴隶主用作镇压奴隶反抗的工具。商王武丁时期，王室的奴隶曾大批逃跑，武丁下令乘船追击。这些船费了九牛二虎之力，前后用了15天，终于把奴隶捕捉回来。这个事件从一个侧面反映了商代航行技术的状况。到了周朝，水运有了进一步的发展。水路交通不仅利用自然河道，而且还开凿运河。春秋时期，最先开凿运河的是陈、蔡、楚等国。当时，为了改善陈、蔡两国间的交通，它们凿了一条不长的运河，将淮河的两条支流沙水和汝水连贯起来。楚国也凿了一条从都城郢（今湖北江陵北）到汉水的水道。不过，其中比较重要的和著名的运河有吴国沟通太湖和长江的胥河、沟通长江和淮河的邗[hán含]沟和沟通淮河和黄河的荷水，以及稍后的魏国沟通黄河和淮河的鸿沟。
春秋末年，阖闾、夫差父子相继为吴王时，吴国在伍子胥、孙武等人的帮助下，逐渐强盛起来。吴国为了攻打楚国，于公元前506年开挖了胥河，船舶可以从苏州通太湖，经宜兴、高淳，穿石臼湖，在芜湖注入长江，大大缩短了从苏州到安徽巢湖一带的路程。吴大败楚国后，继而又攻破越国，迫使越王勾践臣服于吴。取得两次重大的胜利后，夫差认为吴国在长江流域的霸主地位已经确立，决定进一步用兵北方，迫使北方诸侯也听从他的号令，于是在公元前486年“秋，吴城邗，沟通江淮”（《左传·哀公九年》），又修通了邗沟。古邗城在今扬州市西北郊蜀冈一带，其遗址经发掘，周约六公里。构筑邗城的目的，是在江北建立起进军北方的基地。凿邗沟是便于向北运送军队和粮食。邗沟后人又称山阳渎，据《水经注·淮水注》的记载，它从邗城西南引长江水，绕过城东，折向北流，从陆阳、武广两湖（分别位于今高邮县东西）间穿过，北注樊梁湖（今江苏省高邮市北境），又折向东北，穿过博芝、射阳两湖（位于兴化、宝应间），再折向西北，到末口（今淮安市东北）入淮河。邗沟渠线所以比较曲折，主要原因是要利用湖泊，以便减少工程量。从此，吴国军队通过这条运河从长江直接进入淮河，可以从水路上攻打齐国，进兵中原大地。这条运河全长约150公里，它开通后大大便利了南北航运，为后来江淮运河的发展奠立了初步基础。据史书记载，邗沟是我国，也是世界上有确切纪年的第一条大型运河。凿邗沟后的第三年，即公元前484年，吴军与齐军大战于艾陵（今山东泰安市南），齐军几乎全军覆灭。吴国打败齐国后，决定再开一条运河，进军中原，以军事力量为后盾，迫使原来北方诸侯首领晋国就范。那时，黄淮之间的东部，有两条较大的自然河道，一条是济水，原黄河的岔道；一条是泗水，最终流入淮河。泗水与济水很近，只要在两河间开一条运河，吴国的军队就可以从淮河进入泗水，通过运河转入济水，上溯济水，可达中原腹地。于是在公元前482年，吴国夫差就在今山东省鱼台县东和定陶县东北之间凿开一条新水道，因其水源来自菏泽，故称荷水。荷水同胥河、邗沟一样，都是吴国为了政治、军事需要而开凿的，但在后来长时间中，对加强黄河、淮河和长江三大流域的经济、政治、文化的联系，起到了重要作用。
公元前475年到前221年，是我国历史上的战国时期。最先进行变法的魏国成为这一时期七国中最先强盛起来的国家。魏惠王在位时（公元前369年—前319年），为了与列国角逐，迁都于大梁（今河南开封西北）。迁都后，魏国多次动工开凿以大梁为中心的运河，这就是历史上著名的鸿沟。鸿沟先在河南荥阳把黄河带有较多泥沙的水引入圃田泽（在今河南省中牟县西，已湮），使水中的大部分泥沙沉积在圃田泽中，既减轻下游渠道的堵塞，又使圃田泽起到水柜的作用，调节鸿沟的水量。然后引水向东，绕过大梁城的北面和东面，向南与淮河支流丹水、睢水、涡水、颍水等连接起来，许多自然河道连结成网，船只可以畅通无阻。鸿沟的开凿，不仅在黄河、淮河、济水之间，形成了一个相当完整的水上交通网，而且由于它所联系的地区都是当时我国经济、政治、文化最发达的地区，所以在历史上影响很大。 把长江水系与珠江水系连接起来的灵渠，是我国，也是世界上最古老的运河之一。那是在公元前221年，秦始皇顺应历史潮流，前后花了10年时间，统一了中原地区，接着又向岭南进军。但是战争并不像预料的那样顺利。五岭的险峻地形，使行军极度困难。粮草的运输主要靠人背牲口驮。运粮队伍要翻山越岭，走上好些日子，除去自己的消耗，到达营地时已经所剩无几了。更麻烦的是，行进在崇山峻岭的运粮队伍，往往要遭到敌人的突然袭击。粮草问题，更直接地说是运输问题，要是不能得到解决，作战根本无法取得胜利。就这样，常常空着肚子打仗的秦军进行了三年战争，还是没有什么明显进展。
公元前219年，秦始皇出巡到湘江上游，为了解决南征部队的粮饷运输问题，决定派水利专家史禄领导“凿渠运粮”，在五岭之上开一条运河。运河的路线，选在今天广西壮族自治区兴安县城附近湘江和漓江的分水岭上。这里两江相近，最近处不到1.5公里，山又不太高，相对高度20—30米。只需沟通两江，中原地区用船运来的粮草，就可以从水路一直越过五岭，进入岭南地区。为了完成这个任务，数十万秦军和民工，开石劈山，进行了艰苦的劳动。
他们经过五年多的努力，排除了许多困难和干扰。到公元前214年，这条长33公里的灵渠终于挖成了，运输问题解决了，秦始皇下令向岭南增派援军。这一次，秦军取得了完全的胜利，控制了岭南，并在今桂林、广州和雷州半岛等地方设置了三个郡。这样，秦朝就有了40个郡。中国出现了空前统一的局面，珠江水系与长江水系也可以直接通航了。
开凿灵渠的劳动人民，用他们自己的智慧和辛勤劳动，创造了许多山区河道行船的好办法。
在这些山区河道行船的好办法中，最重要的是如何使船“爬”上山的办法。我们勤劳而聪明的祖先懂得，船要“爬”山，对水面“坡度”就要有一定的要求。水面的“坡度”在航行术语上叫做“比降”。实践经验告诉我们，适合于航行的比降应在小于1/3000以下的范围，即在长3000米的水路上水位升高或下降不得超过一米。比降越大，水流越急，对航行越不利。而湘江水面和漓江水面的水位差很大，即使用筑堤的办法来提高水位，比降还是太大，离要求还是差得很远。怎么办呢？劳动人民想了好几种办法来解决这些困难。
首先，他们想方设法让船多走几个“之”字形。在开挖灵渠时，他们让河道迂回曲折，多拐几个弯。这样，有限的河道被延长了，当然比降——也就是水面的“坡度”就相应变得小了。船“爬”山也就容易得多了。
尽管这样做了，有的地方比降仍然太大，最高达1/160，也就是说，船每走160米，水位就要上升或下降一米。如果继续把河道延长，再多走几个“之”字形，让比降减小到1/3000，那河道就要延长20倍。我们暂且不谈在山上作这种延长从地理上来讲是不可能的，即使有可能，从工程上来讲也是不经济的。
于是，民间又发明了“斗门”，也叫做“陡门”，用现代的术语来说，就是船闸。在灵渠水位比降大而又不适于延长河道的地方，分别用巨石做了一个又一个的斗门。最多时设36座斗门，最少时也有10座斗门。每个斗门都有专用的工具，如斗杠、斗脚、斗编等。
船进入一个斗门后，随即把身后的斗门用专用的工具堵严，使其不能漏水，然后徐徐开启前进方向上的另一个斗门。随着斗门打开，水从前方的斗门涌进来，不一会，两个斗门间的水位就平了。于是船就可以前进到前一个斗门内，随后又堵住船后斗门，再打开前面斗门。如此周而复始，船就一级一级向山上“爬”去。同样道理，船也可以从山上一级一级“爬”下来，不过方向相反罢了。
除了使船“爬”上山的好办法外，劳动人民还创造了另外一种重要的好办法，就是实施了引湘江水入灵渠的“分水工程”。湘江上游的海洋河水量比较丰富，他们在海洋河上建立分水工程，以使灵渠保持充足的水量，便于船只从海洋河通过分水工程进入运河。分水工程位于兴安县城东南约两公里远的分水村。这里不是距离运河最近的地方，但是此处海洋河河床较高，大体与灵渠海拔高度相当，便于把水引入运河。所以也就舍近就远，把分水工程选择在此。分水工程包括人字形的拦河坝和铧嘴两部分。平时，坝下一段海洋河旧道不再通水，但来洪水时，大水可以翻越大坝流入旧道。铧嘴位于人字拦河坝顶端的河心，其作用与都江堰的角嘴一样，把海洋河水分成两部分，七分进北渠，三分入南渠。进入北渠的水，从人字坝向北，经过约3.5公里的渠道，到今洲子上村附近，回到湘江故道；进入南渠的水，经过人工开凿的4.5公里的渠道，引入灵渠，作为运河的主要水源。
灵渠是世界上最早的建造并使用船闸的运河，也是最早的跨越山岭的运河。在国外，最早的船闸直到1375年才在欧洲的荷兰出现，而这时我国已经是明朝了。我国古代劳动人民发明的这种利用船闸的行船技术，一直沿用到现代。在19世纪末开建、20世纪初建成的巴拿马运河，就是这样的一个例子。 除灵渠外，我国在世界内河航运史上占有重要地位的，还有一条著名的运河，就是世界上最长的京杭大运河。这条运河北与海河相连，南与钱塘江相接，将海河、黄河、淮河、长江和钱塘江五大水系，连成了统一的水运网。这是我国古代劳动人民改造大自然的一项奇迹。
我国的大江大河大都是从西往东横向流动的。在现代陆路交通工具还没有出现的情况下，开辟一条纵贯南北的水路运输，是很必要的。特别是在结束南北朝分裂局面，隋朝实现了全国统一之后，更显得十分必要了。当时，隋朝的政治和军事中心在北方，而南方江淮地区的经济却有了很大的发展。北方城市所需要的物资，特别是粮食，有很大一部分要依靠江淮地区供应。怎样把这些粮食源源不断地运到北方地区，这是摆在统治阶级面前必须解决的重大问题。大量的物资要从江淮运到长安，甚至运到北方边疆的军事重镇，采取什么运输方式好呢？当时陆上运输只有骡马大车和肩扛人挑，运输速度缓慢，运输量又小，费用和消耗却甚大，不能满足统治阶级的需求。只有利用水道运输，才能完成这项任务。所以，当时开凿运河是时代的需要和历史的必然。
