元世祖忽必烈于1264年命汉族大臣刘秉忠在燕京开始建造元大都，1276年忽必烈灭掉南宋王朝，缴获了南宋大量的金银财宝，图书典籍，于是找来当时的海盗朱清，张暄等人，通过上海的崇明区把宝物运往京城，这是元朝的第一次大规模利用海道调运朝廷物资。元代定都北京之后，大批驻扎在京城的*队军**，文武官员，皇亲国戚的衣食住行大都需要从江南运到京城。
到了1282年，朝廷开始组织船只从江南运粮。当时海运的起点是现在江苏太仓市的刘家港，它的背后是长江流域与最富庶的太湖流域构成的长江三角洲，也就是人们俗称的鱼米之乡。元朝的漕粮主要产自江浙、湖北等地。当时的线路是绕山东半岛进入渤海，经过天津的大沽口进入海河，沿着白河向北到芦沟河、白河汇合处的张家湾，再转到通州入仓存储。海上运输虽然比陆地运输节省许多，但是海上风浪大，而且海盗出没频繁。货物的运输并不是太稳定。这就迫切需要开通一条内陆的运河航线。
南宋海上运输
元朝的漕运路线图，漕粮进入渤海湾后，一条由天津直沽（今天津市内狮子林桥西端旧三汊口）经过白河到达北京的通州。第二条线路是由天津的娘娘宫经过粮河到达蓟州，一部分存放在粮库，供应蓟州周边的军民，一部分转运到东北。第三条是由芦台经黑洋河、蚕沙口、青河至滦州，最后一条是解决上都（元朝陪都，在现在的内蒙古自治区锡林郭勒盟正蓝旗境内）粮食需求，其中第一条运量最大主要供给京城，占到了总运量的80%。这三条海运漕粮通道一直运送到元朝结束。
天津直沽经过白河到达北京通州线路图
粮食运到通州，但是通州到都城还有一段距离。但是通过陆路运往都城花费很大，而且骡马的运力也很有限。
公元1291年，元世祖忽必烈筹划往都城运粮的河道，有人建议用滦河和浑河来运粮。忽必烈派当时的都水监郭守敬去勘查滦河和浑河（浑河携带有大量的泥沙，经常淤积在河床上）后，发现都不适合做运河。郭守敬师从于刘秉忠，郭主持过元朝的许多水利工程建设，他在大都任职30多年，对京城的水利，地理环境非常熟悉，他总结了前人治河的经验教训，并实地勘察多年后，提出了一套周密的实施方案：
上奏元世祖忽必烈，引白浮泉（位于北京昌平区化庄村东龙山东麓）水作为大运河北端上游的水源，经过双塔村，汇集 榆河， 昌平孟村西一亩泉，玉泉等水源经过瓮山泊（现在是颐和园内的昆明湖起调节水库的作用）到和义门（今天西直门）进城，南下流入积水潭，从积水潭往南沿着皇城的东城墙出文明门，注入金朝遗留的旧运河金口河，一直往东直到通州高丽庄。在落差大坡度陡水流湍急的地方通过设置水闸来调节， 每十里一闸，总共设置了广源闸、海子闸等 24道水闸。忽必烈看到郭守敬的这个方案后大为高兴，在元朝二八年设立都水监部门，命郭守敬为都水监一把手。掌管着治理河道，修筑堤坝，水利，桥梁，湖泊等事。并且忽必烈命令丞相以下的官员都需要听从郭守敬的调度。
运河上游图
金代金口河位置
运河从昌平的百浮泉到通州高丽庄全长达164里，全部河道的施工一共动用了兵士，工匠，囚徒2万余人，用了285万个工时，花费银两152万锭，粮食38700石，耗时一年半的时间。
这样海运的漕粮到达通州后，就可以无缝对接地运往都城，直达积水潭。原来运量小，时间慢的骡马运输就被淘汰掉了。
忽必烈从上都（ 今内蒙古锡林郭勒盟正蓝旗草原 ）回到京城，视察刚修建好的运河，见其上“舳舻敝 （ 蔽 ）水”，大悦，并且赐名为通惠河。
通惠河上的24道水闸