测试用例 Agent 的门禁落地:一条需求缺口,应该挡住哪些用例?
用一个提交申请的合成示例,说明如何关联需求缺口与测试用例、限制依赖范围,并在规则确认后重新校验,避免局部缺口阻塞全部生成或被悄悄写成确定预期。
RESEARCH TOPIC
研究 AI Agent 可靠性:任务结果、执行过程、副作用与恢复机制。
用一个提交申请的合成示例,说明如何关联需求缺口与测试用例、限制依赖范围,并在规则确认后重新校验,避免局部缺口阻塞全部生成或被悄悄写成确定预期。
测试用例生成被 Gate 卡住,未必都是模型能力问题。区分输入缺口、执行错误与用例质量,分开管理草稿生成和正式交付,并把未知项纳入覆盖报告。
无人值守 Agent 如何避免卡住、反复重试和消耗 Token?从任务边界、进展证据、预算、停止原因与恢复检查,设计可接手的有界自主运行。
从一次测试用例生成 Agent 的重构出发,讨论为什么 Prompt 无法保证执行流程,以及如何用 Execution Contract、Validator、Trace 和 Drift 检测把 Agent 的过程可靠性变成可验证问题。
Eval 只有进入 CI / Quality Gate 才真正参与交付。本文给出 Baseline、Hard Gate、Regression、Flaky Case、Artifact、Override 与发布准入的工程化设计。
Agent Eval 不能只看最终答案。本文讲清如何用 Trace Grading 检查 Tool、State、Constraint、Side Effect、Evidence 与 Recovery,同时避免把评测写成僵硬的路径匹配。
Failure Corpus 不是错误日志堆积,而是把真实失败结构化成可复现、可归因、可回归的质量资产。本文给出 Failure → Root Cause → Regression Case 的完整闭环。
Model Eval 主要评模型输出,Agent Eval 还必须评 Tool、State、Trace、Side Effect、Evidence 和最终任务完成度。本文拆开两者的评价对象和工程边界。
把 Trace、Evidence、Failure Regression、Eval 收束到 Merge / Release Gate,让 Agent 的结果从“能运行”走向“可交付”。
把一次真实 Agent 事故沉淀成可复现、可判断、可长期执行的 Regression Case,形成 Failure Corpus。
把 Agent 的“我完成了”升级为可验证结果:定义 Evidence Contract、独立验证、Artifact 引用和 VERIFIED / UNVERIFIED 状态。
把 Agent Tool 执行拆成错误分类、Timeout、Retry、Budget、Idempotency 和 Side Effect 六个控制点,避免最终成功掩盖过程失控。
Agent Trace 不只是日志。本文从 Run、Turn、Tool、State、Artifact、Verification 六类事件设计一条可定位、可验证、可回归的执行证据链。
从 Context、Tool、State、Policy、Trace、Recovery 到 Verification,定义 Agent Harness 应该负责什么,以及哪些能力不应该继续塞进 Prompt。
为什么 Prompt 不能替代执行约束?从 Permission、Budget、Timeout、Side Effect、Evidence 到 Recovery,解释 Harness 如何成为 Agent Reliability 的边界。
从模型调用、Agent Loop、Tool、Context、State 到 Trace,解释 Agent Harness 在 Agent 系统里到底负责什么。
Agent 最终通过并不代表过程可靠:从执行轨迹、独立证据、失败回归到 Quality Gate,讨论 Agent Reliability 的工程判断。
执行 → 证据 → 评测 → 回归 → 交付