最近，ChatGPT火爆全球，其强大的内容生成能力和发展潜力，引发AI界广泛关注和讨论。ChatGPT本就是国际科技巨头之间，在AI赛道上相互制衡的重要落子,其短期内爆红的密码在哪？
一、ChatGPT是什么
ChatGPT是美国人工智能公司OpenAI新推出的一款基于生成式大规模预训练语言模型GPT 3.5（Generative Pre-trained Transformer）的应用实例，GPT架构核心组件是Google研究出来的Transformer模型，它是目前在自然语言处理领域表现最好的模型之一。这个模型的核心是注意力机制（Attention Mechanism），可以处理变长的输入和输出序列，因此非常适合处理自然语言问题。
Transformer模型的架构分为两个部分：Encoder和Decoder。Encoder和Decoder都由多个编码器（Encoder）和解码器（Decoder）堆叠而成，每个编码器和解码器都包含了多个自注意力层和前馈神经网络层。在自注意力层（Self-Attention Layer）中，输入序列中的每个位置都会计算出一个对应的特征向量，这个特征向量同时考虑了序列中的所有位置，并且不同位置之间的权重可以根据需要进行调整，从而让模型更加关注重要的信息。自注意力层的输出再经过前馈神经网络层进行处理，得到更加抽象的语义信息。在Decoder中，每个解码器都会通过一个掩码的自注意力层来获取输入序列的信息，然后再通过一个多头注意力层来获取Encoder的输出信息，从而生成一个更加准确的输出。
ChatGPT背后的关键技术还包括RLHF（Reinforcement Learning from Human Feedback），即使用强化学习的方法，利用人类反馈信号直接优化语言模型，RLHF的训练过程可以分解为三个核心步骤：（1）预训练语言模型（2）收集数据并训练奖励模型（3）通过强化学习微调 LM。
二、ChatGPT能做什么
ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。结合ChatGPT的底层技术逻辑，中短期内ChatGPT的潜在产业化方向：归纳性的文字类工作、代码开发相关工作、图像生成领域、智能客服类工作。
从实际体验效果看，ChatGPT 能够到达惊人的能力，包括：能写程序会修改bug，一项研究显示，ChatGPT能够准确修复40个bug中的31个，准确率达78%，远超其他AI修复工具；能写论文，成为应对考试的AI做题家；能写会编，内容创作小能手，由ChatGPT生成文案，再将文案导入到AI绘画工具中，就能生产各种神奇的作品。其文字编写能力已经达到普通人的写作水平，这对那些靠复制粘贴的文稿撰写者是一个严峻挑战。 当然，文字创造者无需担心 GPT 会取代你的工作。
我们还可以利用ChatGPT写营销方案、简历、演讲稿等。在文字内容创作上，ChatGPT的潜力还未被完全发掘。
三、ChatGPT强在哪里
ChatGPT是人工智能领域提出深度学习模型后，又一个里程碑式的技术革命，将为以自然语言处理为核心的认知智能技术发展提供新的“历史机遇期”。
大模型技术从2018年开始兴起，近年来国内外也发布了多个模型参数庞大的深度神经网络大模型，但唯独这次的ChatGPT引发了全球学术界和产业界的热议和关注，关键原因是ChatGPT通过至少以下五个维度能力的显著提升综合实现了初步的“智慧涌现”：（1）海量高价值信息的全量在线记忆能力；（2）自然语言输入的任意任务和多轮对话理解能力；（3）复杂逻辑的思维链推理能力；（4）多角色多风格的长文本生成表达能力；（5）即时新知识学习应用与进化能力。此外，因为引入了代码作为训练语料，ChatGPT还额外产生了理解代码和自动写代码的能力。
ChatGPT的算法，包括回归语言模型（OpenAI从2017年的GPT-1进化到现在的3.5代），还有PPO强化学习算法，全部使用已经十分成熟的公开算法，本身没有什么秘密可言，但是这种超大规模训练，并不止依靠算法本身，硬件和数据才是王道。
纯自然语言数据在网上的公开信息中随处可见，同时门槛较低，但是ChatGPT有一个巨大的先发优势，即通过抢先公开测试收集了大量的用户使用数据，并且独家拥有。只要ChatGPT仍然是最好用的AI工具，这个雪球只会越滚越大，对手只能越来越难追上。另外，为了防止ChatGPT输出有害信息，OpenAI还花费巨额资金寻求印度和肯尼亚的外包公司标记了大量的有害文本，用来训练模型以免输出有害信息，这部分数据也是OpenAI几年筑起的数据壁垒。
综上来看，ChatGPT的能力之强已不仅是停留在单一场景的人机对话，而是一个同时具备多种能力的通用“对话式AI系统”。与传统认知智能需要针对各领域任务定制对应的系统不同，它不仅能完成多个场景、多轮的相当自然的人机对话，更为重要的是以自然语言交互式学习的“类人”新范式，能在多轮交互中以“类人”的方式交流、学习和进步，并可以自主、快速、不间断地学习各领域专业知识并达到人类专家水平。
四、ChatGPT成功的关键是什么
ChatGPT成功的因素很多，最重要的在于微软强大的资金支持与OpenAI优势团队的强强联合。
2015年，OpenAI成立的初心是为了抗衡谷歌。当时，谷歌刚刚收购了一家人工智能初创企业DeepMind，在他们看来，这是一家最有可能最先开发出通用人工智能的公司。一旦成功，谷歌将在通用人工智能领域一家独大。由于和ChatGPT的合作关系，微软慧眼识珠，2019年以来，持续投入OpenAI公司，金额超过100亿美元，希望能够在AI领域和谷歌、亚马逊、Meta 等公司的竞争中占得先机。
微软巨大的资金投入，支撑OpenAI公司持续购买强大而费钱的算力，而强大的算力恰恰是ChatGPT自动化机器语言学习成长成熟所必需的外部条件。非公开资料显示，微软在OpenAI的计算上投入了至少一万台GPU，没有上亿美元的原始投资，外人不可能在算力上与ChatGPT直接竞争。
微软的创始人比尔盖茨此前亦表示，相较于元宇宙和Web3，人工智能才是接下来最重要、最具有颠覆性的技术。当地时间2月7日，微软市值飙升800亿美元，显示资本对微软的极大市场认可。
五、ChatGPT的局限性
随着ChatGPT的爆火，对于“未来AI能否取代人类”的讨论也与日俱增。聚焦AI发展的同时，我们有必要关注AI背后的“人工”力量。毕竟，人工智能离不开“人工”。从实际体验场景看，ChatGPT仅局限于内容生产领域。
ChatGPT 的使用上还有局限性，模型仍有优化空间。ChatGPT模型的能力上限是由奖励模型决定，该模型需要巨量的语料来拟合真实世界，对标注员的工作量以及综合素质要求较高。ChatGPT可能会出现创造不存在的知识，或者主观猜测提问者的意图等问题，模型的优化将是一个持续的过程。若AI技术迭代不及预期，NLP模型优化受限，则相关产业发展进度会受到影响。ChatGPT技术的应用也可能会带来虚假信息、信息泄露、隐私保护等问题。
此外，ChatGPT盈利模式尚处于探索阶段，后续商业化落地进展有待观察。
参考文献：
【1】新华访谈：由ChatGPT浪潮引发的深入思考与落地展望，科大讯飞， 2023-02-14
【2】ChatGPT爆火，一年吸金数十亿，钛度图闻，2023-02-06
————————————————
来源：中国软件研究院