MIT 与 Sakana AI 的联合框架使用 LLM 评审来降低评估自我改进编码智能体的成本。该工作针对的是改进循环中的评估环节，而非生成环节——后者通常是大多数智能体设计工作投入精力的地方。
这一区分对运行迭代式智能体循环的团队很重要。在自我改进循环中，候选智能体产出工作成果，该成果被打分，分数驱动下一轮修订。打分是每个候选都要重复执行的步骤，因此其成本决定了团队能运行多少轮循环的上限。用更便宜的 LLM 评审替代此前的评估方法，改变的是该循环的经济性，而非任何单个候选的质量。所提供的报道未说明使用了哪个评审模型、此前的评估方法是什么、成本降低幅度有多大，或涉及哪些编码基准测试；这些细节在现有材料中仍不明确。
对于构建智能体系统的工作室而言，实际问题是基于评审的评估器是否足够准确，可以信任
封面图片：Tima Miroshnichenko / Pexels。