中国多模态大模型数据集构建

网页抓取、自有数据和开源数据集是多模态大模型数据集的重要来源：

1）网页抓取图文对：例如阿里 M6 大模型、百度 ERNIE-ViLG 大模型都从 网页中抓取文本-图片对，然后经过一定过滤，形成终数据集的一部分；

2）自有数据：例 如阿里 M6 大模型有来自电商的图文数据，百度 ERNIE-ViLG 大模型从内部图像搜索引擎 中收集查询文本和对应的用户点击图像；

3）开源数据集：例如百度 ERNIE-ViLG 大模型的 部分图文对数据来自开源的 CC 和 CC12M，并通过百度翻译 API 翻译。

阿里 M6 大模型：于 2021 年发布，参数规模达到 1000 亿。阿里构建了大的中文多模态 预训练数据集 M6-Corpus，包含超过 1.9 TB 图像和 292GB 文本，涵盖了百科全书、问答、 论坛讨论、产品说明等类型的数据集。研究人员设计了完善的清洁程序：1）文本数据：删 除 HTML 标记和重复的标点符号，只保留中文和英文的字符和标点符号。删除短于 5 个字 符的标题和短于 15 个字符的文本内容。使用“内部垃圾邮件检测器”筛选包含某些政治问 题、色情或脏话等不合适的句子。建立一个语言模型进行评估文本的困惑程度，去掉困惑 程度G的句子；2）图片数据：只有超过 5000 像素的图像才有资格被保留用于预训练。

百度 ERNIE-ViLG 大模型：于 2021 年发布，参数规模达到 100 亿。百度构建了一个由超 过 1.45 亿对G质量中文图像-文本对组成的大规模图像-文本数据集，数据来源如下: 1）中 文网页。从各种中文网页中抓取了 8 亿对原始的中文替代文字描述和图片，进行了几个步 骤的过滤，总共收获了 7000 万对文本-图片，过滤规则主要包括文本长度、文本内容和图 像-文本相似度；2）图片搜索引擎：从内部图像搜索引擎中收集了大约 6000 万个查询文本 和相应的用户点击图像；3）开源图像-文本数据集：从 CC 和 CC12M 收集了 1500 万 文本图像对，这些数据集中的字幕通过百度翻译 API 翻译成中文。

InternVideo 大模型：由上海人工智能实验室等、南大、港大、复旦、中科院深圳先进技术 研究院等于 2022 年发布，使用了 6 个来自各个L域的开源数据集和自采视频片段。