行业知识 · v2.3.0 · 资料核对 2026-10-03

论文、标准与延伸阅读

在交互知识库中阅读下载 Markdown 原文

目标不是收藏最多，而是建立从“为什么”到“怎么做、怎么测、怎么管”的一手知识链。论文中的 benchmark 结果有数据、版本和实验边界，不能直接当作你的产品结论。

12 篇/份必读：最短核心路径

Attention Is All You Need（2017）—— Transformer 与注意力机制起点。
On the Opportunities and Risks of Foundation Models（2021）—— 基础模型能力、生态与社会风险全景。
Training language models to follow instructions with human feedback（2022）—— InstructGPT，理解指令微调与 RLHF。
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（2020）—— RAG 原始范式。
ReAct: Synergizing Reasoning and Acting in Language Models（2022）—— 推理与工具行动结合。
Guidelines for Human-AI Interaction（CHI 2019）—— AI 体验的 18 条实证指南。
Hidden Technical Debt in Machine Learning Systems（2015）—— 模型只是生产 ML 系统的一小部分。
The ML Test Score（2017）—— 生产就绪的测试与监控量表。
HELM: Holistic Evaluation of Language Models（2022）—— 多场景、多指标、透明评测。
AI Agents That Matter（2024）—— Agent 评测同时看成本、可复现和过拟合。
NIST AI Risk Management Framework 1.0（2023）及 GenAI Profile（2024）—— 治理、映射、测量、管理风险。
Model Cards for Model Reporting（2019）—— 模型适用性、性能和限制的标准化记录。

阅读方法

每篇只需先回答：

它要解决什么问题，之前的基线是什么？
数据、任务、指标和实验设置是什么？
结论在哪些条件下成立，哪些没证明？
对产品的场景、架构、评测或风险决策有什么影响？
能否用自己的数据做一个最小复现/反证？

读摘要、图 1、方法概览、结果表、限制，再决定是否精读。把论文加入项目方案时记录版本、适用条件和验证计划，不写“论文证明该方法一定更好”。

A. 机器学习与基础模型

Deep Learning（LeCun, Bengio, Hinton, 2015）—— 深度学习综述性奠基文章。
Attention Is All You Need（Vaswani et al., 2017）—— Transformer。
BERT（Devlin et al., 2018）—— 双向预训练语言表示。
Language Models are Few-Shot Learners（Brown et al., 2020）—— 规模与上下文学习。
Scaling Laws for Neural Language Models（Kaplan et al., 2020）—— 参数、数据与计算的经验规律。
Training Compute-Optimal Large Language Models（Hoffmann et al., 2022）—— Chinchilla，强调数据与计算的配比。
On the Opportunities and Risks of Foundation Models（Bommasani et al., 2021）—— 基础模型报告。
Emergent Abilities of Large Language Models（Wei et al., 2022）—— 规模增长中的能力现象；阅读时同时保持对指标离散化的批判。
On Calibration of Modern Neural Networks（Guo et al., 2017）—— 为什么预测概率需要校准。

产品问题：更大模型是否真提高你的每成功任务价值？平均能力能否覆盖关键切片？

B. 指令、对齐与高效适配

Training language models to follow instructions with human feedback（Ouyang et al., 2022）—— SFT、偏好数据与 RLHF。
Constitutional AI: Harmlessness from AI Feedback（Bai et al., 2022）—— 用显式原则和 AI 反馈进行对齐。
Direct Preference Optimization（Rafailov et al., 2023）—— 直接偏好优化。
LoRA: Low-Rank Adaptation of Large Language Models（Hu et al., 2021）—— 参数高效微调。
QLoRA（Dettmers et al., 2023）—— 量化与高效微调。
The Instruction Hierarchy（Wallace et al., 2024）—— 训练模型区分高低权限指令，理解 Prompt Injection 防御的一层而非全部。

产品问题：你要改变的是知识、格式、风格、策略还是根本能力？偏好数据代表谁的价值？

C. Prompt 与推理方法

Pre-train, Prompt, and Predict（Liu et al., 2021）—— 提示方法综述。
Chain-of-Thought Prompting（Wei et al., 2022）—— 中间推理步骤提示。
Self-Consistency Improves Chain of Thought Reasoning（Wang et al., 2022）—— 多路径采样与一致答案。
Least-to-Most Prompting（Zhou et al., 2022）—— 由简到繁分解问题。
Tree of Thoughts（Yao et al., 2023）—— 搜索多个推理分支。
DSPy（Khattab et al., 2023）—— 把 LM 调用声明化并优化 Prompt/模块。

产品问题：额外推理带来的质量是否覆盖延迟/成本？外显推理是否泄露敏感信息或造成过度信任？

D. 检索增强生成 RAG

REALM（Guu et al., 2020）—— 检索增强预训练。
Dense Passage Retrieval（Karpukhin et al., 2020）—— 稠密段落检索。
Retrieval-Augmented Generation（Lewis et al., 2020）—— RAG 起点。
RETRO（Borgeaud et al., 2021）—— 从大规模语料检索增强语言模型。
Self-RAG（Asai et al., 2023）—— 自适应检索与反思 Token。
Corrective Retrieval Augmented Generation（Yan et al., 2024）—— 检索质量评估与纠正。
Retrieval-Augmented Generation for Large Language Models: A Survey（Gao et al., 2023）—— Naive/Advanced/Modular RAG 全景。
RAGAS（Es et al., 2023）—— RAG 自动评测维度。
ARES（Saad-Falcon et al., 2023）—— 合成训练与少量人工校准的 RAG 评测。
Evaluation of RAG: A Survey（Yu et al., 2024）—— 检索与生成评测梳理。

产品问题：资料是否进库、能否按权限取回、是否新鲜、答案是否真的受引用支持？

E. Agent、工具与真实环境

ReAct（Yao et al., 2022）—— 推理与行动交替。
Toolformer（Schick et al., 2023）—— 自监督学习工具使用。
Reflexion（Shinn et al., 2023）—— 用语言反馈改善后续尝试。
Generative Agents（Park et al., 2023）—— 记忆、反思和计划的交互代理。
AutoGen（Wu et al., 2023）—— 多 Agent 会话框架。
AgentBench（Liu et al., 2023）—— 多环境 Agent benchmark。
WebArena（Zhou et al., 2023）—— 真实感网页环境评测。
SWE-bench（Jimenez et al., 2023）—— 用真实 GitHub 问题评软件工程 Agent。
OSWorld（Xie et al., 2024）—— 真实计算机环境多模态 Agent。
AI Agents That Matter（Kapoor et al., 2024）—— 成本、holdout、标准化和可复现。

产品问题：为何不能用确定 Workflow？每个工具权限、确认、预算、幂等、停止和恢复是什么？

F. 评测与 benchmark

Measuring Massive Multitask Language Understanding / MMLU（Hendrycks et al., 2020）—— 多学科知识 benchmark。
TruthfulQA（Lin et al., 2021）—— 模型是否模仿常见错误观念。
BIG-bench（Srivastava et al., 2022）—— 大规模多任务协作 benchmark。
HELM（Liang et al., 2022）—— 全面、透明、多指标评估。
Judging LLM-as-a-Judge / MT-Bench（Zheng et al., 2023）—— LLM 评审能力与偏差。
IFEval（Zhou et al., 2023）—— 可验证指令遵循。
Chatbot Arena（Chiang et al., 2024）—— 大规模人类成对偏好评测。
Large Language Models Often Know When They Are Being Evaluated（Needham et al., 2025）—— 评测环境与真实部署差异的新风险。

产品问题：公共 benchmark 与真实用户任务的重合有多大？指标是否会被风格、污染和反复调参操纵？

G. 安全、偏差、数据与责任

Datasheets for Datasets（Gebru et al., 2018）—— 数据集标准化文档。
Model Cards for Model Reporting（Mitchell et al., 2018）—— 模型报告框架。
Stochastic Parrots（Bender et al., 2021）—— 大模型规模、数据、环境与社会风险批判。
Data Cascades in High-Stakes AI（Sambasivan et al., 2021）—— 数据问题如何累积成下游伤害。
Red Teaming Language Models with Language Models（Perez et al., 2022）—— 自动生成红队测试。
Indirect Prompt Injection（Greshake et al., 2023）—— 外部内容劫持 LLM 应用。
Universal and Transferable Adversarial Attacks on Aligned Language Models（Zou et al., 2023）—— 自动后缀越狱攻击。
Algorithm Aversion（Dietvorst et al., 2015）—— 人在看到算法犯错后可能过度排斥。
Guidelines for Human-AI Interaction（Amershi et al., 2019）—— 能力告知、交互、纠错与长期适应。

产品问题：谁被数据遗漏或伤害？人类监督是否真正有能力干预？安全是否依赖模型“听话”？

H. 工程化、组织与人机协作

Hidden Technical Debt in Machine Learning Systems（Sculley et al., 2015）—— 数据依赖、反馈回路、配置与系统债务。
The ML Test Score（Breck et al., 2017）—— 28 类生产测试/监控需求。
Rules of Machine Learning（Google）—— 从启发式到生产 ML 的工程经验。
People + AI Guidebook（Google PAIR）—— 用户需求、数据、心智模型、解释、控制和失败。
A Comparative Analysis of Industry Human-AI Interaction Guidelines（2020）—— 对 Microsoft、Google、Apple 的行业指南进行归纳比较。

I. 标准、法规与实务框架

2026-10-03 更新：正式法律/标准、动态工程规范与草案应分别记录。新增 ISO 42005 影响评估、42119-2 测试、5259 数据质量、12792 透明、20226 环境影响、OWASP 2026、MCP 2026-07-28、OpenTelemetry 与 FinOps 等入口及状态见一手资料调研。NIST TEVV-Athlon 截止此日仍为初始草案，不能写成强制标准。公共能力数据见基准目录。

NIST AI RMF 与 Playbook。
NIST GenAI Profile。
NIST Adversarial ML Taxonomy 2025。
ISO/IEC 42001:2023—— AI 管理体系。
OECD AI Principles—— 人权、公平、透明、安全、问责等国际原则。
MITRE ATLAS—— AI 攻击技战术知识库。
OWASP GenAI Security—— LLM/GenAI 应用安全实践。
EU AI Act 原文与官方实施页。
中国监管入口见本库安全合规伦理。
PMI AI 项目组合、项目集与项目管理标准、PMI PMBOK 与 Scrum Guide——AI 项目治理、项目原则与敏捷框架。

书籍：方法论补全

产品与发现

Marty Cagan, Inspired —— 产品团队、发现与交付。
Melissa Perri, Escaping the Build Trap —— 从产出转向结果。
Teresa Torres, Continuous Discovery Habits —— 持续发现和机会树。
Eric Ries, The Lean Startup —— 假设、实验、经验证学习。
Alberto Savoia, The Right It —— 先验证“该不该做”。

AI 与商业

Ajay Agrawal et al., Prediction Machines / Power and Prediction —— 从预测成本下降看业务重构。
Marco Iansiti & Karim Lakhani, Competing in the Age of AI —— AI 驱动运营模式。
Ethan Mollick, Co-Intelligence —— 个体与组织的人机协作实践；作为观点书阅读并用场景评测验证。

系统与交付

Donella Meadows, Thinking in Systems —— 反馈、延迟和系统杠杆。
Nicole Forsgren et al., Accelerate —— 软件交付绩效与组织实践。
Matthew Skelton & Manuel Pais, Team Topologies —— 团队认知负荷和协作边界。
Gene Kim et al., The DevOps Handbook —— 流动、反馈和持续学习。

30 天论文学习计划

第 1 周：Attention、Foundation Models、InstructGPT、LoRA；画出训练—适配—推理图。
第 2 周：RAG、DPR、RAG survey、RAGAS；实现并评测一个小知识库。
第 3 周：ReAct、Toolformer、SWE-bench、AI Agents That Matter；设计有权限的 Agent 沙箱。
第 4 周：HAI Guidelines、Hidden Debt、HELM、NIST GenAI Profile；完成 AI PRD、评测和风险包。

每周输出一页“结论—边界—产品影响—复现实验”，不要只写摘抄。

持续追踪而不被热点淹没

订阅 arXiv 分类：cs.AI、cs.CL、cs.LG、cs.HC、cs.CR。
跟踪 NeurIPS、ICML、ICLR、ACL/EMNLP、CHI、FAccT、USENIX Security 的论文与最佳论文。
优先看有代码、数据、完整评测、负面结果和限制的工作。
对“刷新 SOTA”先问：数据污染？挑 benchmark？成本？方差？真实部署？
每季度只把改变实际决策的内容纳入本大典，避免成为新闻收藏夹。