行业知识 · v2.3.0 · 资料核对 2026-10-03

AI 安全、合规与伦理

在交互知识库中阅读下载 Markdown 原文

核对日期：2026-10-03。法规变化快，以下用于产品与项目治理，不构成法律意见；具体项目必须由适用法域的法务、隐私、安全和行业专家确认。

如需将框架落到责任人、产物和复查记录，使用 AI 产品与项目标准映射与证据矩阵。

治理不是发布前盖章

治理的目标是让组织能回答：有哪些 AI、用于谁、依据什么数据、能做什么、谁负责、如何证明安全有效、出事怎样停止和补救。

最小治理系统：

AI 清单 → 风险分级 → 责任与阶段门 → 控制与证据
      → 评测/红队 → 残余风险批准 → 持续监控 → 事故/退役

可参考 NIST AI RMF 的 Govern / Map / Measure / Manage 四类功能。NIST AI RMF 1.0 是自愿框架；生成式 AI 的特有风险和建议动作见 NIST AI 600-1 Generative AI Profile。组织管理体系可参考 ISO/IEC 42001:2023。

第一关：AI 系统清单

每个系统记录：

• 所有者、Sponsor、开发者、部署者、供应商和使用者。
• 目的、用户、受影响者、地区、行业和使用场景。
• 自主性、关键决策/动作、人工监督和申诉。
• 数据类型、敏感性、来源、流向、保留和跨境。
• 模型、版本、部署、RAG、工具、第三方和许可证。
• 质量、安全、公平、隐私、成本指标和最近评测。
• 风险级别、适用义务、批准、例外、事故和退役状态。

“员工私下使用通用 AI”也属于组织风险，应通过可用工具、数据分类和培训治理，而不只是全面禁止。

第二关：风险分级

按以下维度评估固有风险：

• 影响：人身、心理、权利、机会、财务、隐私、社会、环境。
• 规模：用户数、频率、持续时间、受影响群体。
• 自主性：建议、草拟、推荐、决定、执行。
• 可逆性与可发现性：错误能否及时知道和纠正。
• 数据：个人/敏感/儿童/生物/商业秘密/国家或行业重要数据。
• 场景：医疗、金融、招聘、教育、司法、公共服务、关键基础设施。
• 对抗性：外部输入、工具权限、公开传播、模型供应链。

示例级别

风险控制后评估残余风险。高风险残余风险必须由有权的业务与风险责任人接受，工程团队不能替组织接受。

核心风险域

1. 质量与可靠性

风险：幻觉、错误引用、长尾失败、漂移、工具状态误报、自动化偏见。

控制：代表性评测、关键切片、选择性回答、独立验证、引用、确认、人工接管、版本和回滚。

2. 隐私与个人信息

风险：过度收集、目的漂移、敏感推断、训练记忆、跨租户泄漏、无法删除、供应商二次使用。

控制：

• 目的限定、数据最小化、适当法律基础/同意。
• DPIA/个人信息保护影响评估，尤其自动化决策和敏感信息。
• 去标识/假名化、传输与静态加密、最小权限、短期凭证。
• 推理日志脱敏、分级访问、保留期限和删除传播。
• 用户访问、更正、复制、删除、撤回和申诉机制。
• 供应商 DPA、子处理者、区域、训练使用和验证删除。

不要把“脱敏”当万能：自由文本、向量、日志和组合字段仍可能重识别。

3. 安全

主要攻击面：

• 直接/间接 Prompt Injection、越狱。
• RAG/训练/记忆/工具投毒。
• 敏感数据和系统提示外泄、模型反演/提取。
• 跨租户、权限升级和高危工具滥用。
• 恶意模型/数据/插件/依赖供应链。
• 资源耗尽、无限循环、成本攻击。
• 输出进入代码、SQL、HTML、邮件等下游造成注入。

控制原则：

• 外部内容永远是不可信数据，不把它与系统指令混为一层。
• 模型不作为权限边界；所有动作在确定性授权层校验。
• 工具最小权限、白名单、Schema、沙箱、预算、确认、审计。
• 输出按下游上下文编码/验证，禁止直接执行模型文本。
• 知识入库做来源、签名、权限、恶意内容和变更审核。
• 秘密不放 Prompt；凭证使用短期、范围受限、可撤销。
• 红队、渗透、故障注入、依赖扫描、异常检测和速率限制。

威胁与用例可参考 MITRE ATLAS；NIST 2025 年对预测与生成 AI 的逃逸、投毒、隐私和滥用攻击给出分类，见 NIST AI 100-2e2025。OWASP 的 GenAI Security Project 可用于应用安全核对，但不能替代场景威胁建模。

4. 公平与歧视

风险来自历史数据、标签、代理变量、样本缺失、目标函数、部署流程和反馈回路。

步骤：

1. 明确受影响群体、权利与可能损害。
2. 检查数据覆盖、标签生成和代理变量。
3. 按相关群体切片度量误报、漏报、质量、拒答和服务体验。
4. 与领域/法律/受影响群体共同决定适当公平定义。
5. 调整数据、阈值、流程、监督和申诉；记录剩余取舍。
6. 上线后监控结果差异和反馈回路。

不同公平指标可能互相冲突，不存在脱离场景的单一“公平分”。高影响决策避免仅由黑盒输出自动完成。

5. 透明、解释与用户控制

• 适时告知正在与 AI 交互或内容由 AI 生成。
• 说明能力、限制、数据用途、来源、更新时间和人工责任。
• 对受影响人提供有意义解释、纠错、申诉和人工复核。
• 记录模型卡、数据卡、系统卡和关键决策。

解释应帮助用户做决定，不是输出一段看似技术的模型自述。LLM 的“思考解释”不一定是实际因果机制。

6. 内容安全与社会影响

覆盖违法/有害内容、自伤、自杀、未成年人、仇恨、暴力、色情、诈骗、操纵、错误信息、选举/公共利益内容和文化语境。

建立：政策分类、输入/输出控制、年龄与地区策略、严重事件升级、申诉、专家支持和执法/监管通知流程。安全模型会误拦，必须评测“该拒/不该拒”两边。

7. 知识产权与版权

核对：训练/微调/RAG 数据来源与许可、用户上传权利、模型许可、第三方内容、输出归属、商标/肖像/声音、代码许可证、相似复现和供应商赔偿。

产品控制：来源台账、许可兼容、权利人删除、引用/署名、输出查重/安全审查、高风险内容限制、合同披露。不要承诺“AI 输出天然无版权风险”。

8. 人类自主与劳动

• 防隐蔽操纵、过度拟人、依赖和暗黑模式。
• 自动化应提高人的能力，不把全部责任压给无权复核者。
• 考虑标注者/审核员的薪酬、隐私与有害内容心理支持。
• 对员工 AI 监控、绩效和排班保持必要性、比例与申诉。

9. 可持续性

记录训练/推理资源和利用率；优先最小足够模型、缓存、批处理、路由、量化与绿色区域，同时确保降本不造成质量/公平退化。环境成本进入方案比较和供应商尽调。

中国大陆重点监管地图

全国人大常委会于 2025-10-28 通过修改《网络安全法》的决定，自 2026-01-01 施行，增加人工智能安全与发展相关内容并调整法律责任。项目上位法基线需使用修订后的文本。

适用性取决于是否向公众提供服务、服务属性、数据和行业，不能只按公司所在地判断。

• 《互联网信息服务算法推荐管理规定》：覆盖生成合成、个性化推送、排序精选、检索过滤、调度决策等算法推荐；包含告知、用户选择、算法治理和特定情形备案等要求。
• 《互联网信息服务深度合成管理规定》：覆盖文本、图像、音频、视频、虚拟场景等深度合成服务，涉及身份、标识、日志、备案与安全评估等。
• 《生成式人工智能服务管理暂行办法》：自 2023-08-15 施行，适用于向中国境内公众提供生成式 AI 服务；要求合法数据/基础模型、个人信息与知识产权、标注质量、服务规范、投诉机制，以及特定服务的安全评估与算法备案。
• 《人工智能生成合成内容标识办法》：自 2025-09-01 施行，规定显式/隐式标识、文件元数据、传播平台识别与用户声明等。
• 《人工智能拟人化互动服务管理暂行办法》：自 2026-07-15 施行，针对持续性情感互动型拟人化服务；涉及安全责任、极端情境干预、未成年人/老年人保护、交互数据、AI 身份提示、退出、安全评估和算法备案。普通客服/知识问答等若不涉及持续情感互动，原文列明不适用该办法，但仍可能适用其他规则。
• 上位及通用规则还包括网络安全、数据安全、个人信息保护、消费者、电子商务、著作权、未成年人保护和行业监管；重要数据、跨境、自动化决策、敏感个人信息等需专项判断。

产品侧最低动作：上线前完成“公众服务/舆论社会动员/深度合成/生成式 AI/拟人化互动”适用性核对；确认算法备案、安全评估、模型备案/登记、内容标识、实名、投诉和日志等义务由谁履行。使用已备案模型不自动免除应用提供者自己的责任。

欧盟 AI Act

Regulation (EU) 2024/1689 原文 采用风险分层，覆盖禁止做法、高风险 AI、透明义务和通用 AI 模型等。作为产品经理先判断自己在价值链中是 provider、deployer、importer、distributor 还是其他角色，并判断地域适用。

截至 2026-10-03，欧盟委员会官方实施页面确认大部分规则和透明度义务已于 2026-08-02 进入适用阶段；禁止做法自 2025-02-02、治理与 GPAI 义务自 2025-08-02 适用。2026-07-27 生效的 AI Omnibus将 Annex III 高风险规则延至 2027-12-02，将 Annex I 受监管产品内高风险系统规则延至 2028-08-02。AI 素养规则也被简化，项目应按修订文本核对；高风险时间延后不等于已适用的透明等规则延后。

高风险系统典型准备：风险管理、数据治理、技术文档、日志、部署者信息、人类监督、准确/鲁棒/网络安全、质量体系、上市后监控和严重事件。还要同时评估 GDPR、产品安全、消费者、版权和行业法。

美国与其他市场

美国是联邦、州和行业规则叠加且变化迅速的格局；不能把 NIST 自愿框架当法律合规结论。按具体州、消费者保护、反歧视、隐私、生物特征、就业、医疗、金融、儿童、版权与合同逐项核对。2026 年联邦政策与立法建议仍在变化，进入美国市场应维护法域矩阵并在每次放量前更新。

全球原则可参考 OECD AI Principles，其价值原则包括包容增长、人权与公平、透明可解释、鲁棒安全、问责。国际部署还需检查数据跨境、数据本地化、出口控制、制裁和行业许可。

隐私/AI 影响评估骨架

ISO/IEC 42005:2025提供 AI 系统影响评估指导。评估除技术失效外还应覆盖正确运行时对个人、群体和社会的影响；方案冻结、试点、放量、用途/地区/自主性变化和事故后设复核点。具体证据见 交付证据包。

1. 目的、必要性和替代方案。
2. 利益相关者和受影响群体。
3. 数据流、类型、来源、法律基础、保留、跨境和供应商。
4. 决策/动作、自主性、人工监督和申诉。
5. 质量、公平、安全、隐私、内容、版权与社会风险情景。
6. 固有风险评分。
7. 预防、检测、响应和补救控制。
8. 控制验证证据和残余风险。
9. 批准、例外、到期复核与触发条件。

评估要在架构决策前启动，重大变更、用途扩大、数据新增或事故后重做。

威胁建模简表

Agent 系统增加“主体—委托链—凭证—资源—动作—副作用—补偿”追踪，并核对目标劫持、记忆投毒、跨代理身份和级联故障。最新正式规范、OWASP 基线与 30 条演练见 Agent 安全、身份与协议。

按“资产—攻击者—入口—情景—影响—控制—验证”逐项写：

文档证据

• Model Card：目的、模型、数据概况、评测、限制、伦理与版本。Model Cards 论文
• Data Card：来源、采集、许可、组成、质量、敏感性、偏差、保留。Data Cards
• System Card：端到端系统、部署、风险、红队、控制、残余风险。
• AI Fact Sheet/使用说明：给用户与部署者的能力、限制和责任。
• Decision/Change/Incident Log：为何决定、怎样变化、发生过什么。

文档不是为了“留档”，而要能支持上线决定、调查、用户权利和监管问询。

上线治理门禁

• [ ] 系统在 AI 清单中，所有者与风险级别明确。
• [ ] 适用法域、角色和行业义务由法务确认。
• [ ] 数据来源、授权、许可、保留、删除和供应商完成评审。
• [ ] 模型/系统/数据卡与技术文档完整。
• [ ] 关键切片、红队、隐私和安全测试通过。
• [ ] 人工监督真实可执行，用户有告知、纠错、申诉和退出。
• [ ] 生成内容标识、备案/登记/安全评估等专项义务已落实。
• [ ] 残余风险由有权人签字，例外有到期日。
• [ ] 监控、事故响应、通知、回滚和退役可运行。

模板：AI 风险评估 · 威胁模型 · 模型卡/数据卡