最近，OpenAI推出的ChatGPT火了。

60天月活破亿，迅速狂飙出圈。ChatGPT不仅刷爆了朋友圈，也炸醒了国内外的科技圈、创投圈。

有人说ChatGPT相当于AI版瓦特蒸汽机，有人说ChatGPT让我们看到AI的未来，连微软联合创始人比尔·盖茨都说，ChatGPT的意义不亚于计算机和互联网的诞生，英伟达CEO黄仁勋更盛赞其诞生堪比iPhone问世。

在国外，微软宣布将向OpenAI追加数十亿美元投资，旗下产品将全线整合ChatGPT；谷歌紧急推出Bard对标ChatGPT；苹果、亚马逊、Meta等海外科技巨头纷纷透露将积极布局AIGC、ChatGPT相关技术。

在国内，百度、阿里、腾讯、京东、网易、360、科大讯飞等相继官宣要做中文版ChatGPT；就连已退休三年的美团网创始人王慧文也在朋友圈官宣携5000万美元入坑......

ChatGPT是由OpenAI训练的一个大型语言模型，它使用了深度学习算法中的Transformer模型，通过对数十亿个语言文本进行学习，可以与人类进行自然对话，并尽可能准确地回答用户的问题。作为突破性的AIGC（人工智能生成内容）技术，ChatGPT为AI 行业带来了全新的想象力，由它引爆的“全球AI大战”火速拉开帷幕。

抢占先机，大模型是必由之路

值得注意的是，追赶ChatGPT的大厂，都在提及"大模型"。

百度文心一言将基于文心大模型推出；谷歌“Bard”由大模型LaMDA提供支持；360称自家布局ChatGPT类产品的优势在于数据和语料，在预训练大模型方面还存在短板。

出门问问CEO李志飞则表示，「2023年是AI大模型时代元年，此波变幅堪比2010年左右开始的移动互联网，听到最多的词是all in，许多人跃跃欲试要搞中国版的OpenAI/ChatGPT。如果把这个比作一场运动竞赛，那2023年Q1是报名阶段，目前的报名费是5000万美金起。」

2017年，谷歌提出的Transformer架构为大语言模型发展奠定了基础，大模型由来已久。

很多人会有疑问，既然ChatGPT的核心架构Transformer最初是由谷歌提出的，并且谷歌在大模型技术上的积累可以说不弱于OpenAI，他们也不缺算力和数据，为什么会被ChatGPT打的措手不及呢？

这就必须来说说在算法和算力都是现成的情况下，ChatGPT在数据和反馈策略上的精妙之处。

RLHF基于人类反馈的强化学习，ChatGPT大力出奇迹

对于大模型训练来说，数据是其根本。但是想要训练一个类似ChatGPT的大模型，有足够的数据还不够，还需要有效的数据标注策略。

ChatGPT能够突破难点大力出奇迹的核心就在于：Open AI在ChatGPT训练过程中设计了一套精巧的数据反馈链路策略——Reinforcement Learning with Human Feedback (RLHF，基于人类反馈的强化学习)。

可以这样理解，此前的大模型是在海量数据上自由奔跑，因为见识多，所以能预测，但会乱说话，有风险。RLHF数据反馈策略的加入，让ChatGPT在“自由奔跑”的基础上，用少量数据学会了遵循人的指令，揣摩人的喜好，不乱说话，说有用的话。

结语

可以预见，未来几年的AI大模型竞争将非常激烈，还未入局的玩家，或将面临淘汰。我们期待中国版ChatGPT的诞生，也将助力AI大模型的快速落地和应用。

ChatGPT等通用语言大模型一直被理解为“三高”，即“算力要求高”、“数据要求高”、“人才要求高”。实际上，我们发现通过良好的反馈闭环系统和数据策略设计，仅需要三十分之一的模型大小就可以实现甚至超越GPT-3的1750亿模型参数量的模型效果。

我们在语言模型和人机交互方面的丰富经验，积累下来的不仅仅是标注高质量数据的能力，更是数据策略的设计能力，以及不断打磨并符合科研需求的一整套数据闭环产品。

在大模型领域，我们不仅仅需要通用语言模型能够解决聊天、问答、信息检索等需求，更会在客服、金融、出行、工业制造、生物医药、农业等垂直领域对大模型有更加明确并可预期的落地效果。希望星尘数据在这方面积累的经验和产品，能够助力客户在各个领域快速打磨出一套够用、好用的交互体验算法，快速建立起行业领先优势。

如果您正在训练类似ChatGPT的大语言模型，需要优质的语料库资源和RLHF基于人类反馈的强化学习数据策略，我们将竭诚为您服务。

*文中部分图片来自网络