ChatGPT发布后市场反应-用户体验 算法的突破

用户体验

ChatGPT功能：回答后续问题、 承认错误、质疑不正确的要求 以及拒绝不适当的请求。

理解用户输入信息意图，回答 内容完整有逻辑、有条理，重 点清晰；

真正做到多轮沟通，对上下文 有理解和记忆，对话能力更强。

算法的突破

LLM（large language model）：当模型规模超过某个阈值之后， 对于通用任务的效果会显著提升；

无监督学习（Unsupervised pre-training）：又称可预测学习， 该学习方式使得ChatGPT在无人工标注数据的条件训练，数据更 多、数据成本更低，模型泛化能力更强；

CoT(Chain of Thought)思维链：该算法使得模型生成推理路径， 并在敏感话题方面避免了无法回答的问题；

RLHF(Reinforcement Learning From Human Feedback)人类反 馈强化学习：ChatGPT能够凭借强化学习的方式不断优化人类反 馈的语言模型。

算力、数据、人才、资金的投入

算力、资金的投入：GPT3.5训练阶段总算力消耗约 3640PF-days，约使用10000个GPU+285000个CPU， OpenAI耗费10亿美元租用Azure；截止202301，每个 月,ChatGPT预计花费公司1200万美元；

数据：ChatGPT1训练数据来自公开的电子书； ChatGPT2训练数据来自Reddit； ChatGPT2训练数据 来自82.2%预处理的CommonCrawl语料库、13.5%的 线上图书（GPT1数据集及Bibliotik,）、3.8% Reddit 。

OpenAI创始人、技术团队：OpenAI创始人均为科技 人才，现有375名正式员工，OpenAI一年人员支出 高达8931万美元，人均约为23.8万美元/年/人。