ChatGPT 带来的滥用风险

滥用风险主要是指用户对于 ChatGPT 产生结果的不当应用。具 体表现有：学生在课堂测验或考试过程中直接使用 ChatGPT 的结果作为答 案进行作弊；研究人员使用 ChatGPT 来进行写作的学术不规范行为；不法 分子利用 ChatGPT 来制造假新闻或谣言。Tamkin et al.[20]指出，使用预训 练语言模型能参与的犯罪行为种类繁多，因此很难把所有它们能错误使用的 方法都归纳总结起来，可以预料随着技术的发展以及不法分子的不断尝试， ChatGPT 被错误使用的方式会更多样且更加难以预测。

已有很多研究者针对这一需求提出了不同的解决方案。下面主要介绍两 个有代表性的工作：

2023 年 1 月 31 日，开发 ChatGPT 的 OpenAI 公司发布了一个能够鉴 别 AI 生成文本的分类器3。根据 OpenAI 公布的测试结果，该分类器对于 “AI 生成文本”类别的召回率只有 26%。该分类器的训练数据的构造方式如 下：先获取大量提示，对于每个提示，分别获取 AI 生成文本和人工写作 文本。这种训练数据的获取方式成本较G。

斯坦福大学的 Mitchell et al.[21]提出了一种 Zero-shot 的 AI 生成文本 检测方法 DetectGPT，该方法利用 AI 生成文本和人工写作文本在由其他 AI 模型进行改写后所引起的生成概率的变化来进行判别，生成概率变化大 的文本为 AI 生成文本。根据论文在 3 个数据集上的测试结果，DetectGPT 在 AUROC 这一评价指标上超过了目前已知的其他 Zero-shot 方法。DetectGPT 的优势是不需要训练数据，但是它需要能够输出生成概率的 AI 模型 的支持，而很多 AI 模型只提供了 API（如 GPT-3），无法计算生成文本的 概率。

总的来说，目前对于 ChatGPT 自动生成文本的自动鉴别技术效果还不 能令人满意，需要继续寻找更有效的鉴别方法。