跳转到主要内容

Meta 报告称通过大规模人在环 AI 测试在合并前捕获缺陷

Behzat AIhuman-in-the-loopagent-testingcode-reviewllm-agentsproduction-systems
电路板的微距照片,近距离显示走线、焊点和表面贴装元件。

Meta Engineering 发布了一篇关于 JiTTesting 的文章,这是一种人在环的测试生成方法。其框架值得注意之处在于它将审查者置于何处:在环内,而非事后检查输出。该系统被描述为以全规模运行而非试点,这使得该文章成为生产参考点而非提案。

电子电路板的微距特写,显示微芯片和元件

设计问题与 agent 流水线面临的问题相同。一旦生成变得廉价且持续,审查能力就成为约束,选择在于在候选落地前逐一设卡,还是事后批量审计。将人置于环内以吞吐量换取更早的检测,而缺陷在合并前被捕获的说法取决于这一顺序。报道未明确的是审查粒度、审查者采用的验收标准,或随着量增长如何管理审查者负载。这些细节决定了该模式在持续吞吐下是否成立。

对于构建 agent 系统的团队,有用的启示是结构性的。人工监督是一个放置决策,对延迟、成本和缺陷逃逸率有可衡量的影响,应作为流水线的一部分进行设计和埋点,而非在边界处添加。本工作室在其评估和交付的 agent 系统中将审查放置视为明确的设计参数。

让我们聊聊!