EvalCore
AI行为快照与CI回归测试工具离线记录AI行为，在CI中复现验证
产品亮点
你能用它做什么
- 开发聊天机器人：记录回复行为，更新后复现测试，确保回复质量不下降
- 推荐系统：记录推荐结果，复现测试验证不同环境下的稳定性
- AI客服系统：测试响应，保证更新知识库或调整算法后性能不受影响
怎么用
- 1 配置评估文件：创建YAML，指定目标应用、数据集和评分标准
- 2 运行实时测试：用evalcore run evals.yaml对真实模型运行一次，记录请求和响应到本地SQLite
- 3 提交记录文件：把SQLite文件提交到版本控制系统
- 4 在CI复现：代码变更时用cache replay命令复现，出现回归则CI报警
适合谁使用
优点
- 离线运行，不依赖网络和API密钥，测试稳定
- 确定性结果，相同输入相同输出，可靠可重复
- 在CI中复现，能在用户发现前捕捉AI性能下降
- 支持任何编程语言，评分标准可自定义
局限
- 初始要用真实模型跑一次生成基线记录，会消耗一定接口费用
- 快照测试验证行为一致性，语义好坏仍取决于你设计的评分标准
- 需要写YAML配置并接入CI流程，对工程化有一定要求
- 适用范围聚焦AI行为回归测试，不能替代完整的模型评估体系
EvalCore 是什么
EvalCore是一款用于AI行为的快照测试工具，能在用户发现之前检测到AI性能下降。它先记录LLM应用或智能体每次运行的请求和响应到本地SQLite文件，之后可在CI环境中离线复现这些用例，确认代码变更没有意外改变AI行为。它具备确定性，相同输入产生相同结果，无需网络和API密钥，也没有不稳定的评判标准，在CI中使用免费。
你能用它做什么
- 记录AI行为：保存每次运行的请求和响应，作为测试和分析的数据基础。
- CI复现测试：代码变更时重新运行记录用例，发现潜在回归。
- 离线测试：无需网络即可运行，避免网络波动和接口限制。
- 自定义评分：按需设置评分标准，判断答案是否包含特定内容、是否基于事实。
适合谁使用
- AI开发者：及时发现代码变更对AI行为的影响，避免引入新问题。
- 数据科学家：记录和复现AI行为，理解模型性能和稳定性。
- AI团队：用统一测试框架，确保成员变更不破坏原有功能。
需要留意什么
初始要先用真实模型运行一次，把请求和响应记录到本地SQLite作为基线，这一步会产生一定接口费用。快照测试验证的是行为一致性，语义好坏仍取决于你设计的评分标准，不能替代完整的模型评估。使用时要写YAML配置并接入CI流程，对工程化有一定要求；它聚焦AI行为回归测试，适用范围相对专一。
常见问题
EvalCore在CI里免费吗？
是的，在CI中使用是免费的。生成基线记录时对真实模型的那一次运行会产生接口费用。
为什么能离线？
它把每次运行的请求和响应记录到本地SQLite文件，复现时直接重放这些记录，无需网络和API密钥。
结果稳定吗？
相同输入会产生完全相同的测试结果，具有确定性，也没有不稳定的评判标准，测试可靠可重复。
支持什么语言？
支持任何语言编写的应用程序，无论用什么编程语言开发AI应用都可以使用。
为什么说它免费
官网写明的免费方式： 免费
免费额度、试用天数与功能范围由官网决定，随时可能调整，请以官网为准。
产品截图
截图归档自收录页面，仅供预览参考。
