中国AI大模型数据集从哪里来

国内各行业数据资源丰富，2021-2026 年数据量规模 CAGR G于，数据主要来源于政 府/传媒/服务/零售等行业。据 IDC，2021-2026 年数据量规模将由 18.51ZB 增长至 56.16ZB，CAGR 达到 24.9%，G于平均 CAGR。从数据来源看，国内各行业数据差 异化发展，2021 年政府、传媒、专业服务、零售等行业数据量占比较G，分别为 30.4%、 13.4%、13.0%、9.6%，其中接近 90%的数据为非结构化数据，这也要求了海量数据采集 设备和软件的互联互通以及互动互控。另外随着智能化转型的深入，制造、交通运输、批 发、教育等行业数据规模在未来也拥有较大的增长潜力，2021-2026 年数据量增长 CAGR 将分别达到 37.6%、36.1%、37.1%、34.0%。

尽管国内数据资源丰富，但由于数据挖掘不足，数据无法自由在市场上流通等现状，出色 中文出色数据集仍然稀缺。目前中文出色数据仍然稀缺，如 ChatGPT 训练数据中中文资料 比重不足千分之一，为 0.0991%，而英文资料占比超过 92.6%。据加利福尼亚大学和 Google 研究机构发现，机器学习和自然语言处理模型使用的数据集 50%由 12 家 Top 机构提供， 其中 10 家为美国机构，1 家为德国机构，仅 1 家机构来自，为香港中文大学。值得一 提的是，数据集与数据机构的基尼系数有升G的趋势，即数据集被少数 Top 机构或特定数 据库掌控的集中有所增加。