公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AI DAY干货满满

今年一季度的AI DAY后,我们曾提出——毫末拿出了这么多成绩,但在外供上,还没有第二家主机厂信息被披露。

彼时,距离毫末推出面向乘用车驾驶领域的“6P开放合作模式” (代码、模块、软件、硬件、云端服务、全栈解决方案6个产品层面的合作方式) 已经过去一段时间。

或许是看到了我们的疑惑,在今天举办的第八届AI DAY上,毫末智行董事长张凯向外界公布了毫末6P 开放合作的重要进展:目前已与包括长城在内的3家主机厂签署定点合同,相关项目正在交付中。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

△毫末智行董事长张凯

这对于有着长城汽车深刻烙印的毫末,意义自是非同一般,张凯也再次强调“自动驾驶是一个共同进退、共享成果的前沿产业。只有健康的生态伙伴才能支持毫末高速发展。”

至此,毫末算是解答了我们在“上节课”留下的一个疑问。而这,仅仅是整场AI DAY中的冰山一角。

1

“战争”狂人

在我看来,毫末是有些“好战”气质在身上的。

2022年给自己安排了数据智能技术之战、辅助驾驶城市场景之战、末端物流智能配送车规模之战三大战役。

进入2023年,毫末扩大了战争范围,升级了战争内容: 智能驾驶装机量王者之战、MANA大模型的巅峰之战、城市NOH百城大战和末端物流自动配送商业之战。

三个月过去,四大战役也迎来了阶段性捷报:

首先是“智能驾驶装机量王者之战”,首款搭载HPilot3.0 的新摩卡DHT-PHEV 即将上市,第二款搭载毫末HPilot3.0的车型魏牌蓝山也将在今年发布。毫末HPilot 整体已搭载近20 款车型。 用户辅助驾驶行驶里程突破4000 万公里 ,HPilot2.0 辅助驾驶日均里程使用率达到了12.6%。海外方面,搭载毫末HPilot 的车辆已运往欧盟、以色列等地区和国家,陆续交付到用户手中;同时,毫末HPilot 即将量产墨西哥版本及俄罗斯版本。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

其次是“MANA 大模型巅峰之战”,毫末的自动驾驶数据智能体系MANA 架构已迎来全线升级。 到2023 年4 月,MANA 学习时长近56 万小时,相当于人类司机6.8 万年。

第三是“城市NOH 百城大战”,中国首款可大规模量产落地、重感知城市NOH,已在北京、保定、上海等城市开启泛化测试,即将量产上车。 到2024 年有序落地100 城。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

最后是“末端物流自动配送商业之战”,毫末末端物流自动配送车小魔驼已在商超履约、智慧社区、校园配送、餐饮零售、机场巡逻、高校教育、快递接驳、智慧园区、大气环评等九大场景开启运营。 2023 年3 月,小魔驼2.0 获北京亦庄无人配送车车辆编码,开启亦庄运营。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

对比上个季度的成绩单,虽然增加了“战争”内容,数据也在有条不稳地推进,但对于长期关注毫末AI Day的人显然少了一些新鲜感。

好在毫末这次准备了新的*器武**——自动驾驶生成式大模型DriveGPT,中文名为“雪湖·海若”。

2

如何练成“DriveGPT雪湖·海若”

这绝对是本场AI Day最受关注的一Part。

ChatGPT的爆火带来的AI影响力有愈演愈烈的趋势,就在上周三,Meta推出了一个AI模型SAM (Segment Anything Model) ,一个图像分割基础模型,能够根据文本指令等方式实现图像分割,并且能够零样本迁移到其他任务。而且万物皆可识别和一键抠图。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

而在汽车圈,相关企业几乎都已官宣布局。

其中两家最为声势浩荡。

今年第一季度,推出“文心一言”的百度,产品正式发布前,官宣与超10家的车企签订战略合作协议;2月17日,毫末宣布即将发布“DriveGPT雪湖·海若”,在自动驾驶模型算法方面,全面应用ChatGPT的模型和技术逻辑。

今天,毫末智行CEO顾维灏终于带来了DriveGPT雪湖·海若的具体信息。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

本质上,GPT是在不断求解下一个词 (Token) 出现的概率,而DriveGPT雪湖·海若底层模型采用了GPT (Generative Pre-trained Transformer) 生成式预训练大模型,目的是求解驾驶场景Token的出现概率。 通过不断循环生成自动驾驶场景Token 序列,最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。 毫末DriveGPT雪湖·海若通过引入驾驶数据建立RLHF (人类反馈强化学习) 技术,对自动驾驶认知决策模型进行持续优化。现阶段主要用于解决自动驾驶的认知决策问题,后续持续会将毫末多个大模型的能力整合到DriveGPT雪湖·海若,最终目标是实现端到端自动驾驶。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

这确实是一招有利的先手布局,毕竟,AI大模型更好的规模化落地确实是在产业侧,而自动驾驶就是其规模化落地较好的“土壤”之一。应用得当,甚至能成为帮助自动驾驶行业走出低谷的关键。

当然,这需要实际应用结果去给予信心。

据顾维灏介绍,毫末DriveGPT雪湖·海若使用了基于4000万公里的驾驶数据做预训练,为了对生成决策结果进行调优,又引入大约5万段驾驶接管Clips数据,完成模型的训练和推理。

具体过程如下:DriveGPT雪湖·海若会通过人类反馈强化学习的方式进行迭代,用DriveGPT雪湖·海若最新模型 (Active Model) 对真实场景Case做生成,产出多种场景序列结果,再用反馈模型给这些结果进行打分排序,目标是把好的结果排上来,差的结果排下去,然后与初始模型 (Pretrain-Model) 的生成概率做比较,放大比分。最后通过强化学习的方式将参数再次更新到最新模型中,一直反复这个迭代过程。其中,Reward Model(反馈模型)的训练过程是独立的,使用带有偏序关系的Pair样本对来训练,这些样本对来自于接管Case,毫末将与人类驾驶结果相似的模型结果作为正样本,与被接管轨迹相似的作为负样本,这样来构建偏序对集合,再利用LTR (Learning To Rank) 的思路去训练Reward Model,进而得到一个打分模型。此外,DriveGPT雪湖·海若还可以输出决策逻辑链:即在输入端提供Prompts (提示语) ,根据提示输出含有决策逻辑链 (Chain of Thought) 的未来序列。CoT的思路来自于毫末CSS自动驾驶场景库的超过几十万个细颗粒度场景,将Prompt提示语和完整决策过程的样本交给模型去学习,学到推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

发布会现场, 毫末宣布DriveGPT雪湖·海若将首发于新摩卡DHT-PHEV ,新车即将量产上市。相比“文心一言”在车端落地的“暂无音讯”,毫末的DriveGPT雪湖·海若算是有了一个实实在在的落脚点。

现场顾维灏提到, DriveGPT雪湖·海若可以逐步应用到智能代驾、捷径推荐、智能陪练以及脱困场景中。 有了DriveGPT雪湖·海若的加持,车辆行驶会更安全;动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,车辆为何选择这样的决策动作。对于普通用户来说,车辆越来越像老司机,用户对智能产品的信任感会更强。

是骡子是马,很快我们就能体验到。

3

MANA架构全线升级

DriveGPT雪湖·海若 的算力支持,来自于毫末的算中心“雪湖·绿洲” (MANA OASIS) ,这也是毫末面对全新四大战役的核心关键。

顾维灏介绍,MANA OASIS此次从算力优化等层面升级了 三大能力

首先,毫末与火山引擎全新搭建了“全套大模型训练保障框架”,实现了异常任务分钟级捕获和恢复能力,可以保证千卡任务连续训练数个月没有任何非正常中断,有效保证了大模型训练稳定性;其次,毫末研发出以真实数据回传为核心的增量学习技术,并将其推广到了大模型训练,构建了一个大模型持续学习系统,自主研发任务级弹性伸缩调度器,分钟级调度资源,集群计算资源利用率达到95%;最后,MANA OASIS通过提升数据吞吐量来降本增效,满足Transformer 大模型训练效率,通过引入火山引擎提供的Lego算子库实现算子融合,端到端吞吐提升84%。

最后,就不得不提毫末AI Day的常驻嘉宾——毫末自动驾驶数据智能体系MANA,在经过一年多的应用迭代后,也迎来了全面的升级。顾维灏表示, MANA 计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化,并集成到OASIS中 ;其次, MANA感知和认知相关大模型能力统一整合到DriveGPT雪湖·海若中 ;第三, 增加了使用NeRF 技术的数据合成服务,降低corner case 数据的获取成本 ;同时针对多种芯片和多种车型的快速交付难题优化了异构部署工具和车型适配工具。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

此外,MANA的视觉感知能力持续提升,一方面可同时学习三维空间结构和图片纹理,并将纯视觉测距精度超过了超声波雷达,BEV 方案也拥有了更强的通用性和适配性;另一方面可实现单趟和多趟纯视觉NeRF三维重建,道路场景更逼真。通过NeRF 进行场景重建后,可以编辑合成真实环境难以收集到的Corner Case。在原有的全局视角修改、添加光照/天气效果的基础上,新增合成虚拟动态物体的能力,可以在原有设定的运动轨迹上,合成各种Hard Case,模拟城市复杂交通环境,用更低成本测试提升城市NOH能力边界,更好提升应对城市复杂交通环境。

相信MANA的能力提升,将是毫末城市NOH在2024年上半年落地城市达100城的关键。

4

“挖坑”、“填坑”

当你连续关注了毫末AI Day之后,你会发现它除了是毫末定期对外展示的平台,也是对内管理的重要抓手。每季度的阶段性成绩看似是数据的更新,其实是企业滚雪球般发展的重要推动力。

同时,毫末的AI Day也是一个自我”挖坑”、又不断去”填坑”的公众监督舞台,上次的外供情况、这次的DriveGPT雪湖·海若的实操性究竟如何、2024年上半年城市NOH落地将达到100城等等,毫末需要不断推进,去一步步实现这些flag。

这不是件易事。

与此同时,毫末还在给自己加难度。

我们看到,在毫末的ppt有一页已经成了连续几次AI Day的固定内容,那就是“首个”&“第一”展示。对比三个月前,这张PPT上又多了一枚“勋章”。

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

公布新定点、DriveGPT雪湖·海若宣布落地车型,毫末AIDAY干货满满

△上图:来源于第七届毫末AI DAY;下图:来源于第八届毫末AI DAY

这些是成绩、是荣誉、更是对毫末的鞭策。

从这一次的发布来看,毫末还有很多去战斗的力量。