该连前身为1946年5月组建的辽南军区独立第1师第3团2营4连。
1947年3月，改称辽东军区独立第1师3团2营4连。
1948年3月31日，编入新组建的东北*战野**军第5纵队为第13师39团2营4连
1948年11月，改称中国人民解放军第42军第124师第372团2营4连。第372团前身是1939年3月组建的八路军冀中军区第16团，该团曾在百团大战中，被晋察冀军区司令员*荣臻聂**通令表扬为“纵横平原山岳间的坚强部队”，后演变为陕甘宁边区教导1旅2团。该团是42军内历史最老、战斗力最强的部队，作风朴实坚韧，打仗讲求战术技术，具有不畏强敌，敢于斗争的光荣传统。解放战争时期该连先后参加了辽沈、平津、安阳、鄂西、进军西南等战役战斗。
1951年1月1日，在抗美援朝战争第三次战役中，第124师担任穿插堵敌任务，第372团4连作为尖刀连突破天险道城岘、跨过三八线、冒着敌机疯狂轰炸扫射，18个小时急行军75公里，直插敌心脏济宁里，击溃驻济宁里守敌，切断了南韩第2师、第5师退路，为整个战役的胜利作出重要贡献。
志愿军“二级战斗英雄”冷树国
在这次战斗中，4连副排长白文林，五班班长冷树国，战士窦国斌、郭银锁、王二组成的尖刀小组在一个叫道大里的村庄追上了韩军第2师32团3营，足有400多人。怎么办？这5名志愿军战士没有丝毫胆怯，打！管他怎么办，先打了再说。攻击发起后，惊慌失措的一个营400多韩军在5人战斗小组的攻击下，开始四散奔逃。冷树国冲进村庄，看到一辆吉普车飞驰而出。车上有部电台，无线很长，还有个身材高大的美国人！这下冷树国来劲了，直接冲上车扑倒了敌人，被他俘虏的是南韩第32团的美军上校顾问。372团团长张静耀听说有个战士活捉了美军上校，赶紧过来看看。这一看，张静耀惊呆了，冷树国，这个跋山涉水拼命追击敌人的士兵脚上竟没有鞋（向志愿军先辈致敬！他们不愧是世界轻装步兵的巅峰）。
战役结束后，第124师第372团4连被授予【三八线尖刀英雄连】荣誉称号，全连记大功一次；冷树国被授予“二级战斗英雄”荣誉称号，同时战斗小组也被授予“冷树国尖刀英雄组”荣誉称号。1952年9月26日，冷树国被彭德怀指定作为中国人民志愿军回国代表团成员之一，应邀参加国庆观礼，受到毛*东泽**主席、周恩来总理等*党**和国家领导人的亲切接见。
1961年1月，该连随第124师被中央军委确定为全军首批10个战备值班部队之一。
1979年2月17日，该连参加对越自卫还击作战，和兄弟部队一起，一路浴血奋战，出布局关，克服班翁水障，过靠松山天险，血战弄梅隧道，强击高平博山，攻克越北重地高平。
1994年7月，该连随第124师列入全军应急机动作战部队。
1998年夏，“三八线尖刀英雄连”参加了湖北荆江的抗洪抢险，防守在荆江险中之险、重中之重的调关大堤——长江90度急转弯的叽头。全连官兵冒着39度的高温连续战斗三个昼夜，共完成土石方3000多吨，平均每人扛沙袋100包以上，往返距离150多公里，6天的任务硬是在3天内就完成了。因为抗洪抢险的优异表现，被中央军委授予“抗洪抢险英雄连”荣誉称号。
进入新时期，该连已经改编为两栖机械化步兵连，在未来统一祖国的征程中，“三八线尖刀英雄连”作为对台作战南线的一把尖刀，必将书写新的辉煌。