ChatGPT 带来的错误信息风险

错误信息风险源于 ChatGPT 可能产生虚假、误导、无意义 或质量差的信息。ChatGPT 可以并且已经在成为很多用户的一种获取信息 的手段，但用户如果没有分辨能力，可能会采信这些错误信息，从而带来风 险隐患。尽管预训练语言模型生成的信息有一定可信度，且可信度会在后 续学习改进中不断上升[15]，但这类模型在很多L域生成的信息仍然不够可 靠[22]，ChatGPT 也是如此。ChatGPT 的流行会在某种程度上增加用户对 它的信任，从而被更多错误的信息误导。预训练语言模型的生成的错误信息 比例上升可能会加大人们对社会中各类信息的不信任，破坏社会的知识交流 传播[23]。

在一些很敏感的L域，比如法律和医学，ChatGPT 的错误信息很容易导 致直接伤害。错误的医学法律知识会导致使用者违法犯罪或者自行处理伤口 疾病时出现问题，从而造成对社会和自己身体健康的伤害。这在 ChatGPT 之前就已经有了一些例子，如患者不相信正规医生而搬出搜索引擎给出的结 果来反驳医生，这也能体现出很多用户对这类信息获取方式的信任。

知识共享是一种社会现象，人们出于信任从社会中获取知识并且过滤吸 收。ChatGPT 的一个较为常用的功能是充当搜索引擎，类似百度、Google 等，搜索引擎的信息因其较G的准确率通常拥有较G的可信度，但是如果 ChatGPT 产生错误信息误导他人的现象加剧可能会导致人们不仅对 ChatGPT 信任感下降，同时也对其他类别的信息不再信任，破坏社会的知识共 享，影响社会的知识交流传播。

目前还没有专门针对 ChatGPT 生成文本的正确性进行鉴别的研究论 文发表。已有的针对虚假新闻或虚假信息检测的方法可以尝试应用到大规模 语言模型生成文本的正确性检测中，比如基于事实抽取和验证的方法。但是 基于写作风格的方法可能不太实用，因为大规模语言模型生成文本的过程与 人的写作过程有较大区别。