SERIES / 01
Agent Harness：从入门到 Reliability
从基础概念、运行机制到 Trace、Eval、Failure Regression 与 Quality Gate，逐步建立可验证的 Agent 执行系统。
NOTES ON AI ENGINEERING RELIABILITY
runtime质量论
Agent Reliability · Harness · AI Testing · Runtime Quality
研究 AI 系统从生成、执行、验证到交付过程中的可靠性问题。
01 / 热门入口
全部系列 →02 / 研究专题
全部标签 →03 / 系统阅读
全部系列 →进入系列
SERIES / 02
AI Eval：从大模型评测到 Agent Reliability
从 Benchmark、业务 Eval、Dataset 和 LLM-as-a-Judge，逐步进入 Agent Eval、Trace Grading、Failure Corpus、Regression 与 Quality Gate。
04 / 最新文章
文章归档 →约 10 分钟
测试用例 Agent 的门禁落地：一条需求缺口，应该挡住哪些用例？
用一个提交申请的合成示例，说明如何关联需求缺口与测试用例、限制依赖范围，并在规则确认后重新校验，避免局部缺口阻塞全部生成或被悄悄写成确定预期。
约 9 分钟
需求不完整时，测试用例生成的 Gate 应该怎么判？
测试用例生成被 Gate 卡住，未必都是模型能力问题。区分输入缺口、执行错误与用例质量，分开管理草稿生成和正式交付，并把未知项纳入覆盖报告。
约 9 分钟
让 Agent 下班后继续跑：有界自主运行怎么设计？
无人值守 Agent 如何避免卡住、反复重试和消耗 Token？从任务边界、进展证据、预算、停止原因与恢复检查，设计可接手的有界自主运行。
约 14 分钟
Agent 会跳步骤：从测试用例生成失败到 Execution Contract Drift
从一次测试用例生成 Agent 的重构出发，讨论为什么 Prompt 无法保证执行流程，以及如何用 Execution Contract、Validator、Trace 和 Drift 检测把 Agent 的过程可靠性变成可验证问题。
约 10 分钟
怎么把 AI Eval 接进 CI / Quality Gate？让评测真正阻断坏版本
Eval 只有进入 CI / Quality Gate 才真正参与交付。本文给出 Baseline、Hard Gate、Regression、Flaky Case、Artifact、Override 与发布准入的工程化设计。
约 10 分钟
Agent Trace Grading 怎么设计？结果正确，过程也可能已经失控
Agent Eval 不能只看最终答案。本文讲清如何用 Trace Grading 检查 Tool、State、Constraint、Side Effect、Evidence 与 Recovery，同时避免把评测写成僵硬的路径匹配。
约 9 分钟
线上失败怎么变成 Failure Corpus？从一次事故到持续回归
Failure Corpus 不是错误日志堆积，而是把真实失败结构化成可复现、可归因、可回归的质量资产。本文给出 Failure → Root Cause → Regression Case 的完整闭环。
约 8 分钟
Offline Eval 和 Online Eval 有什么区别？一套 AI 系统为什么两个都需要
Offline Eval 负责发布前的可重复比较，Online Eval 负责发现真实生产分布与新失败。本文给出两者的边界、数据闭环与落地方式。