在原始社会里,生产力水平很低,人们大都聚集在有水的地方,依靠渔猎为生。水是人类生活的必需品,但有时它也给人类带来很大的危害。在同水打交道的过程中,人们逐渐认识了水的某些特性。如“利涉大川,乘木有功也”(《易经》),意思是骑着木头有利于过大河,懂得了“水能浮起木头”的道理。随着社会生产力的发展,生产工具也在不断改进,人们已有可能“编木为筏”,与此同时还能利用火烧和石刀、石斧的砍凿,把大原木挖空,做成独木舟,这样人们就能方便地在水上活动了。至于古代传说中提到黄帝的大臣共鼓、货狄发明舟,部落首领颛顼〔zhuanxu专虚〕发明浆、篙,帝喾发明舵和橹,尧发明纤绳等等,从根本上说,这些都是人民群众的创造。
商朝的甲骨文上有“舟”字,当时已经有木板船了。据甲骨卜辞记载,在商代后期,航运往往被奴隶主用作镇压奴隶反抗的工具。商王武丁时期,王室的奴隶曾大批逃跑,武丁下令乘船追击。这些船费了九牛二虎之力,前后用了15天,终于把奴隶捕捉回来。这个事件从一个侧面反映了商代航行技术的状况。到了周朝,水运有了进一步的发展。水路交通不仅利用自然河道,而且还开凿运河。春秋时期,最先开凿运河的是陈、蔡、楚等国。当时,为了改善陈、蔡两国间的交通,它们凿了一条不长的运河,将淮河的两条支流沙水和汝水连贯起来。楚国也凿了一条从都城郢(今湖北江陵北)到汉水的水道。不过,其中比较重要的和著名的运河有吴国沟通太湖和长江的胥河、沟通长江和淮河的邗〔han含〕沟和沟通淮河和黄河的荷水,以及稍后的魏国沟通黄河和淮河的鸿沟。
春秋末年,阖闾、夫差父子相继为吴王时,吴国在伍子胥、孙武等人的帮助下,逐渐强盛起来。吴国为了攻打楚国,于公元前506年开挖了胥河,船舶可以从苏州通太湖,经宜兴、高淳,穿石臼湖,在芜湖注入长江,大大缩短了从苏州到安徽巢湖一带的路程。吴大败楚国后,继而又攻破越国,迫使越王勾践臣服于吴。取得两次重大的胜利后,夫差认为吴国在长江流域的霸主地位已经确立,决定进一步用兵北方,迫使北方诸侯也听从他的号令,于是在公元前486年“秋,吴城邗,沟通江淮”(《左传·哀公九年》),又修通了邗沟。古邗城在今扬州市西北郊蜀冈一带,其遗址经发掘,周约六公里。构筑邗城的目的,是在江北建立起进军北方的基地。凿邗沟是便于向北运送军队和粮食。邗沟后人又称山阳渎,据《水经注·淮水注》的记载,它从邗城西南引长江水,绕过城东,折向北流,从陆阳、武广两湖(分别位于今高邮县东西)间穿过,北注樊梁湖(今高邮县北境),又折向东北,穿过博芝、射阳两湖(位于兴化、宝应间),再折向西北,到末口(今淮安市东北)入淮河。邗沟渠线所以比较曲折,主要原因是要利用湖泊,以便减少工程量。从此,吴国军队通过这条运河从长江直接进入淮河,可以从水路上攻打齐国,进兵中原大地。这条运河全长约150公里,它开通后大大便利了南北航运,为后来江淮运河的发展奠立了初步基础。据史书记载,邗沟是我国,也是世界上有确切纪年的第一条大型运河。凿邗沟后的第三年,即公元前484年,吴军与齐军大战于艾陵(今山东泰安市南),齐军几乎全军覆灭。吴国打败齐国后,决定再开一条运河,进军中原,以军事力量为后盾,迫使原来北方诸侯首领晋国就范。那时,黄淮之间的东部,有两条较大的自然河道,一条是济水,原黄河的岔道;一条是泗水,最终流入淮河。泗水与济水很近,只要在两河间开一条运河,吴国的军队就可以从淮河进入泗水,通过运河转入济水,上溯济水,可达中原腹地。于是在公元前482年,吴国夫差就在今山东省鱼台县东和定陶县东北之间凿开一条新水道,因其水源来自荷泽,故称荷水。荷水同胥河、邗沟一样,都是吴国为了政治、军事需要而开凿的,但在后来长时间中,对加强黄河、淮河和长江三大流域的经济、政治、文化的联系,起到了重要作用。
公元前475年到前221年,是我国历史上的战国时期。最先进行变法的魏国成为这一时期七国中最先强盛起来的国家。魏惠王在位时(公元前369年—前319年),为了与列国角逐,迁都于大梁(今河南开封西北)。迁都后,魏国多次动工开凿以大梁为中心的运河,这就是历史上著名的鸿沟。鸿沟先在河南荥阳把黄河带有较多泥沙的水引入圃田泽(在今河南省中牟县西,已湮),使水中的大部分泥沙沉积在圃田泽中,既减轻下游渠道的堵塞,又使圃田泽起到水柜的作用,调节鸿沟的水量。然后引水向东,绕过大梁城的北面和东面,向南与淮河支流丹水、睢水、涡水、颖水等连接起来,许多自然河道连结成网,船只可以畅通无阻。鸿沟的开凿,不仅在黄河、淮河、济水之间,形成了一个相当完整的水上交通网,而且由于它所联系的地区都是当时我国经济、政治、文化最发达的地区,所以在历史上影响很大。