行业知识 · v2.3.0 · 资料核对 2026-10-03
采购、验收、移交与复盘
采购补齐模型/工具版本、数据训练使用、变更通知、事故协作、证据导出、审计配合、删除证明和退出演练。验收包与实际运行版本相连,运营 Owner 亲自完成恢复验证。可复制证据索引见 交付证据包。
AI 采购不是普通 SaaS 采购
模型/数据/标注/集成供应商会直接影响产品行为、权利和持续成本。采购从场景和验收开始,不从销售演示开始。
RFI / RFP 输入
- 业务场景、用户、流量、模态、语言和区域。
- 代表性任务与脱敏评测集。
- 必须/期望能力、性能、SLA、支持。
- 数据分类、处理、保留、训练使用、跨境限制。
- 安全、合规、审计和事故通知。
- 集成、版本、日志、监控和迁移要求。
- 计价单位、三年情景、价格调整机制。
- PoC/试点范围、成功标准和时间盒。
所有候选用同一评分卡;商业分和技术/风险分分别评,再综合,防“低价抵消不合规”。
数据与模型供应商尽调
数据
- 来源、授权链、同意、许可和地域。
- 代表性、采集时间、质量、敏感属性与已知偏差。
- 去标识方法、重识别风险、删除/更正机制。
- 是否含受版权保护、个人、儿童或高风险数据。
模型/API
- 系统卡/模型卡、评测范围、已知限制。
- 客户输入输出是否训练、保留多久、谁可访问。
- 版本锁定、变更通知、弃用和回退。
- 数据区域、子处理者、加密、密钥、隔离。
- 红队、漏洞、事件历史与响应承诺。
- 内容策略、申诉、误拦截与定制能力。
标注/服务
- 标注者培训、质量、隐私、劳动条件和敏感内容支持。
- 分包、访问、环境隔离、审计和数据删除。
- 一致性、返工、仲裁、产能和交付格式。
合同关键条款
- 数据角色、允许用途、训练禁用/选择、保留和验证删除。
- 保密、知识产权、开源/第三方许可与侵权处理。
- 安全控制、子处理者、审计、漏洞和事故通知时限。
- SLA/SLO、服务积分、支持级别、灾备和业务连续性。
- 模型/价格/政策变更通知、版本并行期和弃用期。
- 量价阶梯、Token 计量、缓存/失败请求计费、预算上限。
- 终止、数据/配置/日志导出、迁移协助和退出费用。
- 责任上限、赔偿、保险与适用法律。
合同不能替代技术控制;供应商承诺不等于本方免责。
PoC 防坑
- 使用本方代表性、脱敏且授权数据。
- 不允许只演示厂商挑选样本。
- 记录所有人工后台干预。
- 测冷启动、峰值、长输入、失败、对抗和多租户。
- 把生产集成、观测、权限和成本差距列为明确债务。
- PoC 数据到期删除并取得证据。
验收计划
验收在合同/立项时共同确定:
| 维度 | 示例证据 | 责任方 |
|---|---|---|
| 范围 | 需求追踪矩阵、演示、测试 | 产品/项目 |
| AI 质量 | 冻结评测集、盲评、切片、回归 | AI PM/算法/SME |
| 安全合规 | 红队、渗透、隐私评估、材料 | 安全/法务 |
| 性能可靠 | 压测、故障注入、SLO 报告 | 工程/SRE |
| 成本 | 真实流量回放、账单模拟 | 财务/工程 |
| 可运营 | 监控、Runbook、权限、回滚演练 | 运营/SRE |
| 交付物 | 源码/配置/文档/培训/许可证 | 项目经理 |
严重度、整改期限、复验、条件验收和拒收权写清。不要以“主观满意”作为唯一标准。
运营移交
接收团队应拿到:
- 架构、依赖、数据流、模型/Prompt/索引/工具注册表。
- SLO、看板、告警、值班、升级树和状态沟通。
- 正常/降级/回滚/灾备/数据恢复 Runbook。
- 评测集、Rubric、基线结果、红队用例和执行方法。
- 用户/管理员手册、培训、FAQ、限制和支持话术。
- 合同、许可、证书、续约日期、预算与联系人。
- 风险台账、例外、残余风险、复核日期。
完成知识转移和实操演练,而非只发文档链接。
项目关闭条件
- 验收签字、未完成项和责任日期清楚。
- 预算/合同/资产结清,临时权限和环境撤销。
- 数据按约定归档或删除。
- 运营团队独立处理一次演练。
- 价值复核时间和负责人已安排。
- 决策、版本、评测、事故和合规证据可审计。
- 经验与行动进入组织知识库。
复盘
复盘问题
- 我们最初相信什么,哪些被证伪?
- 哪个决策最创造价值,哪个最昂贵?
- 失败在哪里被发现,本可更早吗?
- 数据、模型、体验、项目、组织各有哪些根因?
- 哪些控制有效,哪些只存在于文档?
- 若重做,保留、停止、开始什么?
根因分析
避免“某人没仔细”作为终点。继续问为什么系统允许单点失误:目标、流程、接口、自动化、培训、激励、负荷、监控和治理是否共同导致。
行动项质量
弱:“加强测试。”
强:“在 8 月 15 日前由评测负责人把所有跨租户检索事故样本加入 security_regression_v4,CI 中任何一条失败阻断发布,并由安全负责人复验。”
行动有负责人、期限、可验证结果和关闭证据。
供应商退出演练
每年至少桌面演练:主模型 API 停止 7 天、价格上涨 50%、版本被弃用、区域不可用或供应商发生数据事件。验证:切换耗时、质量差异、数据导出、合同权利、客户沟通和备用容量。