OpenAI 搭建了开源 OpenAI Evals 模型评估框架

OpenAI 搭建了开源 OpenAI Evals 模型评估框架。OpenAI Evals 模型评估框架 （https://github.com/openai/evals）用于创建和运行各类评估准则（benchmarks），支持用 户自定义评估逻辑。目前，OpenAI Evals 与现有的基准测试兼容，并可用于跟踪部署中的 模型性能。未来，OpenAI 计划逐步增加测试基准的多样性，以代表更广泛的故障模式和更 难的任务集。

GPT-4 于 2022 年 8 月完成训练，技术细节未完全公布。据 GPT-4 技术文档，GPT-4 于 2022 年 8 月完成训练，此后，OpenAI 一直在评估、对抗性测试并迭代和改进模型，并提出各种 系统级安全缓解措施。此外，OpenAI 在 GPT-4 文档中明确提出，考虑到竞争格局和大型 模型（如 GPT-4）的安全影响，本文档没有包含有关架构（包括模型大小）、硬件、训练计 算、数据集构造、训练方法或类似内容的进一步细节。文档明确提供的内容包括：1）GPT-4 是一个基于 transformer 的预训练模型，用于预测文字的下一个 token；2）使用公开可用数 据（如互联网数据）和第三方提供商授权的数据；3）使用来自人类反馈的强化学习（RLHF） 对模型进行微调。