行业知识 · v2.3.0 · 资料核对 2026-10-03

上线、运营、增长与迭代

在交互知识库中阅读下载 Markdown 原文

放量与扩大权限分别审批。上线后按任务级质量、严重错误、实际收益和成功任务全成本监控，模型/数据/用途/地区重大变化触发重评；退役包含在途收尾、撤权、删除传播与通知。指标口径见 FinOps 与价值实现。

上线不是终点，是从受控实验进入动态系统

上线后用户分布、攻击、知识、供应商、数据和组织流程都会变化。发布计划必须与运营模型一起设计。

发布阶梯

1. 内部狗粮：低风险员工，收集明显故障。
2. 影子流量：不影响用户，测真实输入与系统容量。
3. Alpha：受邀专家用户，有高触达支持。
4. Beta：有限客群/场景/权限，明确实验属性。
5. 金丝雀：1%→5%→20% 流量，逐级观察。
6. 全量：仍保留功能开关、模型路由和回滚。

每一级先定义放量条件、观察窗口、停止与回滚条件。不要边上线边临时争论。

Go / No-Go 材料包

• 范围、用户、区域、自主性和已知限制。
• 离线、人评、红队、UAT、压测报告。
• 关键风险、控制、残余风险与接受人。
• 数据、隐私、版权、内容标识和合同核对。
• SLO、容量、成本情景、预算与配额。
• 监控、告警、Runbook、值班、状态页和客服话术。
• 灰度、回滚、降级、模型/索引恢复和数据处置。
• 用户教育、能力告知、反馈、申诉与人工升级。

指标树

北极星

选择“有质量约束的用户结果”：

• 每周被采用且无需重大修改的有效建议数。
• 在 SLA 内解决、未重复联系的工单数。
• 有可靠来源支持的成功研究任务数。

领先指标

激活、首次成功、重复使用、采用率、完成时间、编辑距离、转人工率。

护栏指标

严重错误、投诉、泄漏、越权、偏差、误拒、人工负荷、成本、延迟。

诊断指标

检索召回、工具失败、Prompt/模型版本、输入长度、拒答类型、分层质量。

采用与变更管理

用户不采用往往不是模型分数问题，而是：工作流多一步、责任增加、缺乏信任、激励冲突、管理者未授权、结果不可编辑或系统不懂组织语境。

采用计划：

• 按角色说明“它做什么、你仍负责什么”。
• 在真实工作流内提供，不强迫跨工具复制。
• 用真实案例培训：成功、失败、纠错、升级。
• 建立冠军用户和办公室时间，快速处理阻力。
• 保护反馈者，不把报告 AI 错误变成绩效风险。
• 衡量时间是否真的被释放和重新用于价值活动。

反馈闭环

显式反馈

赞/踩只是弱信号；增加原因：事实错、来源错、遗漏、语气、格式、工具失败、政策问题。高价值失败允许补充正确答案和证据。

隐式反馈

采纳、编辑、复制、撤销、升级、任务完成。注意行为含混：复制可能是为了纠错，停留长可能是困惑。

反馈治理

• 说明反馈用途与隐私。
• 防恶意操纵、重复和群体偏差。
• 不把用户原文自动进入训练集。
• 经去标识、授权、抽检和版本管理后使用。
• 线上指标不直接驱动模型自我更新，高风险变化需评审。

错误预算和质量预算

传统 SRE 用错误预算平衡可靠与发布；AI 产品还需要质量预算：关键任务失败率或严重错误达到阈值时，冻结放量/功能迭代，优先修复。

触发示例：

• 7 天严重事实错误超过 0.2%。
• 高风险切片正确率跌破底线。
• 用户报告泄漏/越权一次即停止相关能力。
• 每成功任务成本连续一周超预算 20%。

阈值应按场景风险设定，示例不能直接照搬。

事故响应

事故类型

质量、安全/隐私、内容、偏差、工具执行、供应商、成本失控、数据/知识污染。

流程

1. 检测与分级：影响谁、范围、是否仍在发生。
2. 控制：功能开关、撤权、切模型、禁工具、回滚索引、转人工。
3. 通知：内部责任人、用户、客户、监管/供应商按义务执行。
4. 根因与修复：不仅修 Prompt，要看系统和组织因素。
5. 恢复验证：回归集、灰度与监控。
6. 无责复盘：时间线、根因、控制失效、行动、负责人和截止日。

日志要能支持调查，同时遵守最小化和保留期限。

增长：先保留价值，再扩展

AI 产品增长常见杠杆：

• 激活：首个任务用真实示例和模板，快速到“第一次成功”。
• 留存：融入重复工作流、保留可控上下文、改进知识覆盖。
• 协作：共享经过权限控制的产物、模板、评测和审批。
• 扩场景：从同一用户相邻任务扩张，而非同时做十个机器人。
• 商业化：按席位、用量、成功结果、工作流或企业平台定价。

防止“生成次数”虚荣增长：如果输出没人采纳，只是在花 Token。

定价与包装

考虑价值归属、成本波动和客户可预测性：

• 席位：简单，但重度用户成本可能失控。
• 用量：成本匹配，客户预算不确定。
• 成功结果：价值一致，但定义和归因难。
• 分层套餐：不同模型、额度、数据控制、SLA、治理能力。
• 平台费 + 用量：企业场景常见。

必须有配额、告警、超额策略和滥用防护；不要让“无限”把单位经济击穿。

迭代优先级

把问题按 影响人数 × 严重度 × 频率 × 战略价值 × 置信度 ÷ 成本 排序，高风险底线问题优先于公式。

修复顺序通常：

1. 权限、安全与致命错误。
2. 数据/知识缺口和检索失败。
3. 工作流/体验与用户误用。
4. Prompt、工具和路由。
5. 换模型或微调。

模型/系统变更管理

任何模型、Prompt、索引、Embedding、工具、规则更新：

• 写变更原因与影响面。
• 冻结候选版本，跑完整回归和安全关键集。
• 对比质量、延迟、成本与行为差异。
• 影子/金丝雀，保留旧版本和回滚期限。
• 更新模型卡、评测报告、用户/运营说明。

何时退役

• 用户价值或单位经济持续不成立。
• 风险无法接受或法规/合同不再允许。
• 依赖停止支持且迁移不值得。
• 新方案完全替代，双轨造成混乱。

退役需通知、导出、数据删除、撤销凭证、解除工具权限、归档评测/决策/事故、更新流程和支持材料。

上线速查：检查清单 · 运行手册模板