# 上线、运营、增长与迭代

放量与扩大权限分别审批。上线后按任务级质量、严重错误、实际收益和成功任务全成本监控，模型/数据/用途/地区重大变化触发重评；退役包含在途收尾、撤权、删除传播与通知。指标口径见 [FinOps 与价值实现](../14_行业基线/04_指标_FinOps与价值实现.md)。

## 上线不是终点，是从受控实验进入动态系统

上线后用户分布、攻击、知识、供应商、数据和组织流程都会变化。发布计划必须与运营模型一起设计。

## 发布阶梯

1. 内部狗粮：低风险员工，收集明显故障。
2. 影子流量：不影响用户，测真实输入与系统容量。
3. Alpha：受邀专家用户，有高触达支持。
4. Beta：有限客群/场景/权限，明确实验属性。
5. 金丝雀：1%→5%→20% 流量，逐级观察。
6. 全量：仍保留功能开关、模型路由和回滚。

每一级先定义放量条件、观察窗口、停止与回滚条件。不要边上线边临时争论。

## Go / No-Go 材料包

- 范围、用户、区域、自主性和已知限制。
- 离线、人评、红队、UAT、压测报告。
- 关键风险、控制、残余风险与接受人。
- 数据、隐私、版权、内容标识和合同核对。
- SLO、容量、成本情景、预算与配额。
- 监控、告警、Runbook、值班、状态页和客服话术。
- 灰度、回滚、降级、模型/索引恢复和数据处置。
- 用户教育、能力告知、反馈、申诉与人工升级。

## 指标树

### 北极星

选择“有质量约束的用户结果”：

- 每周被采用且无需重大修改的有效建议数。
- 在 SLA 内解决、未重复联系的工单数。
- 有可靠来源支持的成功研究任务数。

### 领先指标

激活、首次成功、重复使用、采用率、完成时间、编辑距离、转人工率。

### 护栏指标

严重错误、投诉、泄漏、越权、偏差、误拒、人工负荷、成本、延迟。

### 诊断指标

检索召回、工具失败、Prompt/模型版本、输入长度、拒答类型、分层质量。

## 采用与变更管理

用户不采用往往不是模型分数问题，而是：工作流多一步、责任增加、缺乏信任、激励冲突、管理者未授权、结果不可编辑或系统不懂组织语境。

采用计划：

- 按角色说明“它做什么、你仍负责什么”。
- 在真实工作流内提供，不强迫跨工具复制。
- 用真实案例培训：成功、失败、纠错、升级。
- 建立冠军用户和办公室时间，快速处理阻力。
- 保护反馈者，不把报告 AI 错误变成绩效风险。
- 衡量时间是否真的被释放和重新用于价值活动。

## 反馈闭环

### 显式反馈

赞/踩只是弱信号；增加原因：事实错、来源错、遗漏、语气、格式、工具失败、政策问题。高价值失败允许补充正确答案和证据。

### 隐式反馈

采纳、编辑、复制、撤销、升级、任务完成。注意行为含混：复制可能是为了纠错，停留长可能是困惑。

### 反馈治理

- 说明反馈用途与隐私。
- 防恶意操纵、重复和群体偏差。
- 不把用户原文自动进入训练集。
- 经去标识、授权、抽检和版本管理后使用。
- 线上指标不直接驱动模型自我更新，高风险变化需评审。

## 错误预算和质量预算

传统 SRE 用错误预算平衡可靠与发布；AI 产品还需要质量预算：关键任务失败率或严重错误达到阈值时，冻结放量/功能迭代，优先修复。

触发示例：

- 7 天严重事实错误超过 0.2%。
- 高风险切片正确率跌破底线。
- 用户报告泄漏/越权一次即停止相关能力。
- 每成功任务成本连续一周超预算 20%。

阈值应按场景风险设定，示例不能直接照搬。

## 事故响应

### 事故类型

质量、安全/隐私、内容、偏差、工具执行、供应商、成本失控、数据/知识污染。

### 流程

1. 检测与分级：影响谁、范围、是否仍在发生。
2. 控制：功能开关、撤权、切模型、禁工具、回滚索引、转人工。
3. 通知：内部责任人、用户、客户、监管/供应商按义务执行。
4. 根因与修复：不仅修 Prompt，要看系统和组织因素。
5. 恢复验证：回归集、灰度与监控。
6. 无责复盘：时间线、根因、控制失效、行动、负责人和截止日。

日志要能支持调查，同时遵守最小化和保留期限。

## 增长：先保留价值，再扩展

AI 产品增长常见杠杆：

- 激活：首个任务用真实示例和模板，快速到“第一次成功”。
- 留存：融入重复工作流、保留可控上下文、改进知识覆盖。
- 协作：共享经过权限控制的产物、模板、评测和审批。
- 扩场景：从同一用户相邻任务扩张，而非同时做十个机器人。
- 商业化：按席位、用量、成功结果、工作流或企业平台定价。

防止“生成次数”虚荣增长：如果输出没人采纳，只是在花 Token。

## 定价与包装

考虑价值归属、成本波动和客户可预测性：

- 席位：简单，但重度用户成本可能失控。
- 用量：成本匹配，客户预算不确定。
- 成功结果：价值一致，但定义和归因难。
- 分层套餐：不同模型、额度、数据控制、SLA、治理能力。
- 平台费 + 用量：企业场景常见。

必须有配额、告警、超额策略和滥用防护；不要让“无限”把单位经济击穿。

## 迭代优先级

把问题按 `影响人数 × 严重度 × 频率 × 战略价值 × 置信度 ÷ 成本` 排序，高风险底线问题优先于公式。

修复顺序通常：

1. 权限、安全与致命错误。
2. 数据/知识缺口和检索失败。
3. 工作流/体验与用户误用。
4. Prompt、工具和路由。
5. 换模型或微调。

## 模型/系统变更管理

任何模型、Prompt、索引、Embedding、工具、规则更新：

- 写变更原因与影响面。
- 冻结候选版本，跑完整回归和安全关键集。
- 对比质量、延迟、成本与行为差异。
- 影子/金丝雀，保留旧版本和回滚期限。
- 更新模型卡、评测报告、用户/运营说明。

## 何时退役

- 用户价值或单位经济持续不成立。
- 风险无法接受或法规/合同不再允许。
- 依赖停止支持且迁移不值得。
- 新方案完全替代，双轨造成混乱。

退役需通知、导出、数据删除、撤销凭证、解除工具权限、归档评测/决策/事故、更新流程和支持材料。

上线速查：[检查清单](../11_附录/02_检查清单.md) · [运行手册模板](../06_模板工具箱/README.md#23-运行手册-runbook)