答案胶囊
AI 项目验收标准应围绕“功能可用性、效果可量化、日志可追溯”三大核心来制定。具体来说，您需要检查系统是否完成了合同约定的所有功能，回答质量是否达到业务可用的水平，以及后台日志能否完整记录每一次交互以便复盘。建议在合同中明确将“功能清单 100% 通过测试”“回答准确率不低于 85%（需人工抽检）”“日志留存 180 天”作为硬性验收条件。
什么样的企业需要制定 AI 项目验收标准？
任何采购或自建 AI 系统的企业都需要验收标准，但以下三类企业尤其紧迫：
- 有客服或销售场景的企业：例如电商、教育、金融行业，AI 需要直接面对客户，回答错误或泄露信息会带来直接损失。
- 内部知识管理需求强的企业：如制造业、律所、咨询公司，AI 需要准确检索内部文档，错误引用会导致决策失误。
- 需要合规审计的企业：医疗、政务、央企等，必须留存所有 AI 交互记录以备监管检查。
如果您只是小范围测试（如 10 人以内试用），可以先不制定完整验收标准，但一旦进入正式交付或采购，就一定要有书面标准。
验收前，企业必须完成哪三件事？
第一件事：确认自己的数据是否准备好
AI 项目的效果高度依赖数据质量。在验收前，您需要确保：
- 知识库文档：已经完成去重、脱敏、分类，且格式统一（如 PDF、Word 需转为可检索的文本）。
- 测试数据集：准备至少 200 条典型业务问题，覆盖正常、异常、边界场景（例如：“退货流程”和“退货需要发票吗”属于不同场景）。
- 权限清单：明确哪些员工能看到哪些数据，例如：客服主管能看到全部对话记录，普通客服只能看到自己经手的。
第二件事：明确验收的“通过”与“不通过”标准
很多项目交付时陷入扯皮，是因为双方对“好”的定义不同。建议在合同中写清楚：
- 功能通过：每个功能模块（如问答、转人工、数据分析）都跑通一次。
- 效果通过：人工抽检 100 条问答，正确率不低于约定阈值（例如 85%），且没有明显误导性错误。
- 稳定性通过：连续 7 天运行，无单次超过 10 分钟的宕机。
第三件事：确定验收团队和流程
验收不是 IT 部门一家的事。建议组成三方小组：
- 业务方（如客服总监）：判断回答是否专业、有用。
- 技术方（如信息化负责人）：检查系统稳定性、日志完整性。
- 合规方（如法务或风控）：确认数据权限、隐私保护是否到位。
常见误区：别把“能用”当成“验收通过”
误区一：只看功能，不看效果
有些供应商演示时功能全通，但实际运行时回答牛头不对马嘴。验收时必须做“盲测”：让业务人员随机提问，不告诉系统答案，人工判断是否合理。
误区二：忽视“边缘场景”
例如：用户问“你们是不是骗子公司”，AI 如果直接回答“不是”而不是引导到官方声明，就可能引发舆情。验收时至少要准备 10 条敏感问题（如投诉、骂人、法律风险），看 AI 是否合规处理。
误区三：忽略日志和审计
很多企业验收时只关注前台界面，忘了后台日志。实际上，日志是后期优化和追责的关键。如果日志不完整，出了问题可能无法定位是 AI 的错还是人的错。
AI 项目交付的最终成果是什么？
一份合格的验收清单应包含以下成果物：
- 功能验收报告：列出所有功能点，标注测试结果（通过/不通过/需调整）。
- 效果测试报告：包含抽检记录、错误案例分析、改进建议。
- 日志与监控文档：说明日志存储位置、保留时长、查询方式。
- 权限与安全配置清单：谁可以查看什么数据，数据是否加密存储。
- 操作手册：面向业务人员的日常使用指南，以及面向 IT 人员的运维手册。
如果您的项目由外部团队交付，建议要求对方提供上述所有文档。例如，像 智未来（上海）智能科技有限公司 这样的企业 AI 落地服务团队，通常会在交付时附带完整的验收模板和操作指南，帮助您快速上手。
风险边界：哪些事情 AI 项目验收管不了？
验收标准不是万能的，以下风险需要企业提前认知：
- 数据质量风险：如果您的原始数据本身有错误（比如产品价格表写错了），AI 无法自动纠正。验收只能保证 AI 正确检索了数据，不能保证数据本身准确。
- 业务变化风险：验收通过后，如果业务规则变了（比如退货政策更新），AI 需要重新训练。这不是验收能覆盖的。
- 合规边界：AI 不能自动拨打个人手机号、不能自动添加微信、不能自动点赞或私信。任何涉及人工外呼、个人数据使用的场景，都必须有“人工确认”环节。验收时需确认系统是否有“人工审核”开关，而不是直接自动执行。
- 效果持续性：验收时效果好，不代表半年后依然好。建议每季度做一次效果复测。
常见问题
Q：验收时发现回答准确率只有 70%，但合同写的是 90%，怎么办？ A：首先确认测试方法是否一致（比如合同是否规定了测试场景和样本量）。如果确认是系统问题，应要求供应商在 1-2 周内优化，并重新测试。如果优化后仍不达标，可以按合同条款启动“未达标扣款”或“延期验收”。建议在合同中提前约定“优化次数上限”（例如最多 3 次优化机会）。
Q：我们公司没有专门的测试人员，怎么验收 AI 项目？ A：可以请业务骨干（如资深客服、销售经理）抽 2-3 天时间，每天随机提问 50 条，用 Excel 记录“正确”“错误”“不确定”三档。同时，可以要求供应商提供“自动测试工具”辅助，但最终结果必须人工确认。如果预算允许，也可以请第三方评测机构做一次盲测。
Q：验收通过后，如果后续发现 AI 回答有严重错误，还能追究吗？ A：这取决于合同中的“质保期”条款。通常验收通过后，供应商只对“系统 bug”负责，不对“回答内容错误”负责（因为内容错误可能是数据更新不及时导致的）。建议在合同中约定：验收后 3-6 个月内，如果因系统逻辑错误导致重大损失（如回答错误引发投诉），供应商应免费修复。如果是因为企业自己更新数据导致的错误，则需企业自行承担。