中国三个大语言模型数据集构建

类似海外大语言模型，大语言模型的预训练数 据集也主要来自互联网抓取数据（如 Common Crawl、中文公共社交媒体抓取等）、网络百 科全书（如百度百科、搜狗百科）、书籍等等；充分借助已有的G质量开源数据集，例 如对 Common Crawl 等进行二次处理。

百度 Plato-XL 大模型：百度于 2021 年发布 PLATO-XL，包括中英文 2 个对话模型，预训 练语料规模达千亿J token，模型规模G达 110 亿参数。预训练语料库分为：1)英语：会话 样本从 Reddit 评论中提取，这些评论由第三方收集，并在 pushshift.io 上公开发布，遵循 了 PLATO-2 的精心清洗过程；2）中文：预训练数据来自公共L域的社交媒体，过滤后训 练集中有 1.2 亿个样本。

华为盘古大模型：华为于 2021 年发布盘古，是业界个 2000 亿参数以中文为核心的预训 练生成语言模型，目前开源了盘古α和盘古α增强版两个版本，并支持 NPU 和 GPU 两个 版本，支持丰富的场景应用，在知识问答、知识检索、知识推理、阅读理解等文本生成L 域表现突出，具备较强的少样本学习的能力。

腾讯 WeLM 大模型：腾讯于 2022 年发布 WeLM，数据来源主要分为三部分：1）Common Crawl：Common Crawl 于 2020.08 至 2022.01 期间的文本内容，使用 langdetect 工具过 滤掉非中文的文本；2）特定L域语料库：混合了来自各种来源的数据，包括新闻、书籍、 流行在线论坛以及学术著作，仅中文数据。3）英文数据：添加了从上述来源收集到的约 750GB 的英语数据。数据中有大量的噪音如胡言乱语或模板文本、冒犯性语言、占位符文 本和源代码等，先应用一组基于规则的过滤器，再在剩余的数据上手动构建好坏数据分 类器提升数据清理泛化能力。