详细信息
 

国内优质中文数据集的重要来源 垂直内容平台

编辑:      来源:华泰证券      时间:2023/5/19
 

未来专业及垂直内容平台有望成为国内出色中文数据集的重要来源:

1)专业内容平台:知乎作为问答知识平台,拥有超过 4300 万创作者产生的超过 3.5 亿条出色中文问答内容,涉 及政治,经济,文化,历史,科技等几乎全部门类。其问答的数据形式天然适合作为大语 言类模型训练使用。微信公众号作为内容分享平台,背靠国民J应用微信生态链,2022 年 公众号产出超 3.9 亿篇文章,其中既有专业L域内容分析,也有时事热点分析,这些内容对 语言模型的训练迭代有重要作用。

2)垂类内容平台:参考彭博基于金融垂类数据发布 BloombergGPT 案例,国内在金融,医疗,生物等行业公司的数据可以作为细分L域大模 型准确训练的基础。




 
【声明:转载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考,如有侵权,请联系删除。】
 
推荐信息
国内科技互联网厂商训练大模型基于的数据基础
百度文心大模型训练特有数据主要包括万亿级的网页数据;阿里通义大模型的训练数据主要来自阿里达摩院;腾讯混元大模型特有的训练数据主要来自微信公众号
国内缺乏高质量数据集的主要原因
高质量数据集需要巨大资金投入,当前国内数据挖掘和数据治理的力度不足;国内相关公司成立较晚,数据积累相对国外公司更少
中国AI大模型数据集从哪里来
从数据来源看,国内各行业数据差异化发展,2021年政府,传媒,专业服务,零售等行业数据量占比较高,接近90%的数据为非结构化数据
语音标注质量评估算法优缺点
WER算法可以分数字,英文,中文等情况分别来看;当数据量大时,性能会特别差;SER算法对句子的整体性评估要优,句错误率较高
文本标注质量评估算法优缺点
ROUGE算法参考标注越多待评估数据的相关性就越高;METEOR算法评估时考虑了同义词匹配,提高了评估的准确率;SPICE算法对图像标注进行评估
图像标注质量评估算法优缺点
MV算法简单易用,常用作其他众包质量控制算法的基准算法;EM算法可以收敛到局部最大化;RY算法将分类器与 Ground-truth 结合起来进行学习
数据清洗缺失数据的处理方法
数据清洗作为数据预处理中至关重要的环节,清洗后数据的质量很大程度上决定了 AI算法的有效性,数据可能存在缺失值,噪声数据,重复数据等质量问题
数据采集三种常见方式
实时的在线分析系统和分布式并发的离线分析系统;通过网络爬虫或网站公开API方式获取大数据信息;采集的对象包括视频,图片,音频和文本等多种类型
智能运输机器人
AGV无人运输机器人-料箱版
AGV无人运输机器人-标准版
AGV无人运输机器人-料箱版(钣金材质)
AGV无人运输机器人-货架版(钣金材质)
AGV无人运输机器人-货架版(亮面不锈钢材质)
AGV无人运输机器人-开放版
行业动态
» AMR企业未来发展的建议:加强产学研合作 拓展应用领域与场景 突破关键技术
» 智能无人运输车AMR选型建议:安全性 稳定性 兼容性 成本和可维护性
» 物流企业自动化搬运项目:117台XPL搬运机器人用于快运件转运+物料暂存
» 工具制造业5G智慧工厂:10+台潜伏AGV+托盘式叉车用于线边仓转运
» 轮胎行业项目:2台室内平衡重式无人叉车LXP15-B用于半成品、成品自动化出入库
» 汽车零部件园区无人化物流项目:室外无人驾驶重载AGV用于车间到车间之间的物流运输
» 汽车行业智能搬运项目:30台XPL搬运机器人用于产线送料和成品转运
» 汽车新能源产线智慧物流项目-31台潜伏AGV应用环汽车总装车间转运
» 汽车行业多品类AGV整合项目:叉车AGV、潜伏牵引AGV、举升AGV、承载式双车联动AGV、功能型A
» 乘用车动力总成车间零部件集配项目-9台承载辊道式AMR,用于动力总成线边供给
 
首页    产品    方案    底盘    参数    关于
咨询热线:4006-935-088 / 4006-937-088     客服热线: 4008-128-728
版权所有 @ 创泽智能机器人集团股份有限公司    鲁ICP备18039973号-2    运营中心 / 北京·清华科技园九号楼    生产中心 / 山东省日照市开发区太原路71号