文本标注质量评估算法优缺点

文本标注质量评估算法

1、 BLEU 算法

优点：方便、快速、结果有参考价值 测评精度易受常用词干扰

缺点：测评精度易受常用词干扰

2、 ROUGE 算法

优点：参考标注越多，待评估数据的相关性就越G

缺点： 无法评价标注数据的流畅度

3、METEOR 算法

优点：评估时考虑了同义词匹配， 提G了评估的准确率

缺点：长度惩罚，当被评估的数据量小时，测量精度较G

4、CIDEr 算法

优点：从文本标注质量评估的相关性上升到质量评估的相似性进

缺点：对所有匹配上的词都同等对待会导致部分词的重要性被削弱

5、 SPICE 算法

优点：从图的语义层面对图像标注进行评估

缺点： 图的语义解析方面还有待进一步完善

6、ZenCrowd 算法

优点：将算法匹配和人工匹配结合，在一定程度上实现了标注质量和效率的共同提G

缺点：无法自动为定实体选择佳数据集