1863年，曾国藩召见中国第一个留美学生容闳，问及他“今日欲为中国谋最有益最重要之事，当从何处着手”时，当即回答：“中国应设立一西式机器厂。此厂以先立普通基础为之，不宜专供特别之应用。所谓立普通基础者，无它，即由此厂可造出种种分厂，更由分厂以专造各种特殊之机械。简言之，即此厂当有制造‘机器之机器’，以及一切制造厂之基础也。”曾国藩闻言甚喜，当即就给容闳68000两银子，开始了“制器之器”的试验。
1865年6月3日，中国第一座具有“制器之器”的工厂成立，曾国藩学生李鸿章名之为“江南机器制造总局”，由丁日昌任总办。1866年，江南制造总局造出了中国近代的第一艘机器动力兵船，长185尺，宽29.2尺，马力392匹，载重600吨；船身由坚木制成，内部机器系国外的旧机器修整后使用，而汽炉和船壳则是由总局自己制造。江南造船厂进入了第一个兴旺发展期：诞生了中国第一台车床，自行建造了中国第一艘蒸汽推进的军舰“惠吉”号和第一艘铁甲军舰“金瓯”号，研制了中国第一支步枪、第一门钢炮、第一磅无烟*药火**，炼出了中国第一炉钢……到19世纪90年代，江南机器制造总局已发展成为中国乃至东亚技术最先进、设备最齐全的机器工厂。
1918年，第一次世界大战期间，江南造船所接下了中国第一张国外造船订单：为美国政府运轮部造4艘载重量10000吨、排水量14750吨的运输舰，两年后交货。这是中国造船业有史以来的最大工程，也是工业发达国家的首次政府订货，由此引起广泛重视。1920年，由江南造船所制造，四艘起着中国名字的美国船陆续下水，中外报刊竞相报道，大赞“中国工业史，乃开一新纪元”。
去过上海世博会的人，肯定会对那形似龙脊梁的船舶馆留下深刻印象。可是，在船舶馆建立之前，黄浦江西岸1.35平方公里的世博园区，原是江南造船厂的厂区。而江南造船厂的前身，便是1865年由曾国藩规划创建、李鸿章负责的江南制造总局。
1953年，老厂正式改名江南造船厂。尽管条件艰苦，工人师傅们只能在临时用油毛毡、三合板搭起的简易屋棚里加工船配件，但凭借上海工人“蚂蚁啃骨头”的精神，江南造船厂很快便在摸索中开始了自己的现代化进程。中国第一台万吨水压机、第一艘自行研制的国产万吨轮“东风”号、第一艘潜艇、第一艘护卫舰、第一代航天测量船、首艘大型远洋调查船和新型导弹驱逐舰，均在此诞生。现在已经是全球最大造船基地，百年江南，国之重器。