SWE-Gate：为什么通过测试不足以衡量 Agent 生成的代码

mech.app 团队在 Dev.to 上发表文章，介绍了 SWE-Gate——一个新的代码质量评估框架。文章指出，当前的编码 Agent（Coding Agent）基准测试存在一个盲点：它们只衡量测试通过率，却忽略了代码审查的接受标准。从 SWE-bench 开始的每个基准测试都有这个问题。SWE-Gate 旨在填补这个空白，提供一个更全面的代码质量评估方法。

背景：编码 Agent 的兴起

什么是编码 Agent

编码 Agent 是一种能够自主完成编程任务的 AI 系统：

• 自主执行：给定一个任务描述，Agent 可以自主分析需求、编写代码、运行测试、修复错误
• 多步骤推理：Agent 能够进行多步骤的推理和规划，而不是简单的代码补全
• 工具使用：Agent 可以使用各种工具，如代码编辑器、终端、测试运行器、调试器
• 迭代改进：Agent 可以根据测试结果和反馈迭代改进代码

编码 Agent 的能力快速提升

近年来，编码 Agent 的能力快速提升：

• SWE-bench 成绩：在 SWE-bench 基准测试中，顶尖 Agent 的解决率已经达到很高的水平
• 真实任务能力：一些 Agent 已经能够处理真实的 GitHub issue，生成可合并的 Pull Request
• 多语言支持：支持多种编程语言和框架
• 复杂任务处理：能够处理涉及多个文件、多个模块的复杂任务

评估的重要性

随着编码 Agent 的能力提升，如何准确评估它们的能力变得越来越重要：

• 技术选型：企业需要评估不同 Agent 的能力，选择最适合的工具
• 性能追踪：开发者需要追踪 Agent 的性能改进，了解新版本的提升
• 研究方向：研究者需要识别 Agent 的弱点，指导未来的研究方向
• 质量保证：用户需要确保 Agent 生成的代码符合质量标准

当前基准测试的盲点

SWE-bench 及其变体

SWE-bench 是目前最流行的编码 Agent 基准测试：

• 任务来源：从真实的 GitHub 仓库中收集的 issue
• 评估方式：Agent 生成代码后，运行仓库的测试套件，通过测试的比例作为评分
• 变体：SWE-bench Lite、SWE-bench Verified、SWE-bench Multimodal 等
• 广泛使用：几乎所有编码 Agent 论文都会报告 SWE-bench 成绩

盲点：只看测试通过率

文章指出，SWE-bench 及其变体存在一个共同的盲点：

• 只衡量测试通过率：基准测试只看 Agent 生成的代码是否能通过测试
• 忽略代码质量：不评估代码的可读性、可维护性、架构合理性
• 忽略代码审查：不模拟真实的代码审查流程，不评估代码是否能通过审查
• 忽略边缘情况：测试套件可能不覆盖所有边缘情况，通过测试不代表代码正确
• 忽略最佳实践：不评估代码是否遵循项目的编码规范和最佳实践

为什么这是个问题

这个盲点导致了几个问题：

1. 虚高的性能：Agent 的基准测试成绩可能虚高，实际使用中代码质量不达标
2. 错误的优化方向：研究者可能过度优化测试通过率，而忽略代码质量
3. 生产环境不适用：在基准测试中表现好的 Agent，在生产环境中可能生成不可接受的代码
4. 用户信任问题：用户可能因为基准测试成绩而信任 Agent，但实际使用中发现代码质量差
5. 技术选型困难：企业难以根据基准测试成绩选择真正适合生产环境的 Agent

真实场景中的代码审查

在真实的软件开发中，代码审查是必不可少的环节：

• 人工审查：经验丰富的开发者会审查每一行代码
• 审查标准：包括代码风格、命名规范、错误处理、安全性、性能、可维护性等
• 多轮迭代：代码通常需要多轮审查和修改才能合并
• 拒绝合并：质量不达标的代码会被拒绝合并，即使测试通过
• 知识传递：代码审查也是知识传递和团队学习的机会

SWE-Gate 是什么

基本概念

SWE-Gate 是一个新的代码质量评估框架，旨在填补当前基准测试的盲点：

• 双维度评估：同时评估测试通过率和代码审查通过率
• 模拟代码审查：使用 AI 或人工模拟真实的代码审查流程
• 审查标准：定义明确的代码审查标准，包括可读性、可维护性、安全性、性能等
• 更真实的评估：更接近真实软件开发场景的评估方式
• 可复现：评估过程可复现，结果可比较

核心思想

SWE-Gate 的核心思想是：

通过测试只是第一步，通过代码审查才是真正的完成。

在真实的软件开发中，代码需要同时满足：

1. 功能正确：通过测试，实现需求
2. 质量达标：通过代码审查，符合质量标准

SWE-Gate 将这两个维度都纳入评估，提供更全面的 Agent 能力衡量。

SWE-Gate 的评估流程

1. 任务选择

• 真实任务：选择真实的 GitHub issue 作为任务
• 难度分级：任务按难度分级，从简单到复杂
• 多样性：覆盖不同的编程语言、框架、项目类型
• 代表性：任务具有代表性，能够反映真实开发场景

2. Agent 执行

• 自主执行：Agent 自主完成任务，包括分析需求、编写代码、运行测试
• 工具访问：Agent 可以访问代码仓库、测试运行器、终端等工具
• 时间限制：设置合理的时间限制，模拟真实开发场景
• 多次运行：每个任务运行多次，评估稳定性和一致性

3. 测试评估

• 运行测试：运行仓库的测试套件，检查是否通过
• 覆盖率检查：检查测试覆盖率是否达标
• 边缘情况：额外测试边缘情况，确保代码健壮性
• 回归测试：确保没有引入回归问题

4. 代码审查评估

这是 SWE-Gate 的核心创新：

• 审查维度：

  • 代码风格：是否符合项目的编码规范
  • 命名规范：变量、函数、类的命名是否清晰一致
  • 可读性：代码是否易于理解和维护
  • 错误处理：是否正确处理错误和异常
  • 安全性：是否存在安全漏洞
  • 性能：是否存在性能问题
  • 架构合理性：是否符合项目的架构设计
  • 重复代码：是否存在不必要的重复代码
  • 注释和文档：是否有必要的注释和文档

• 审查方式：

  • AI 审查：使用强大的 AI 模型进行代码审查，模拟资深开发者
  • 人工审查：对于关键任务，使用人工审查确保质量
  • 混合审查：AI 初审 + 人工复审的混合方式

• 审查结果：

  • 通过：代码质量达标，可以合并
  • 需要修改：代码有一些问题，需要修改后重新审查
  • 拒绝：代码质量严重不达标，需要重写

5. 综合评分

• 双维度评分：同时报告测试通过率和代码审查通过率
• 综合得分：将两个维度结合，计算综合得分
• 详细报告：提供详细的评估报告，包括每个任务的表现、常见问题、改进建议
• 对比分析：支持不同 Agent 之间的对比分析

SWE-Gate 的审查标准示例

代码风格

✓ 通过：变量命名清晰，符合项目的 camelCase 规范
✗ 不通过：变量名使用缩写（如 x、y、tmp），不符合项目规范

错误处理

✓ 通过：所有可能失败的操作都有错误处理，错误信息清晰
✗ 不通过：忽略错误返回值，或使用 panic 处理可恢复的错误

安全性

✓ 通过：用户输入经过验证和转义，防止注入攻击
✗ 不通过：直接将用户输入拼接到 SQL 查询或 shell 命令中

性能

✓ 通过：使用高效的算法和数据结构，避免不必要的计算
✗ 不通过：在循环中执行 O(n) 操作，导致 O(n²) 复杂度

可维护性

✓ 通过：函数职责单一，长度适中，有清晰的注释
✗ 不通过：单个函数超过 200 行，承担多个职责，难以理解和修改

SWE-Gate 与其他基准测试的对比

对编码 Agent 发展的影响

1. 更真实的性能评估

SWE-Gate 提供了更真实的 Agent 性能评估：

• 识别虚高成绩：识别那些在 SWE-bench 上成绩好但代码质量差的 Agent
• 指导技术选型：帮助企业选择真正适合生产环境的 Agent
• 追踪真实进步：更准确地追踪 Agent 能力的真实进步

2. 推动研究方向

SWE-Gate 可能推动编码 Agent 的研究方向：

• 代码质量优化：研究者会更加关注代码质量，而不仅仅是测试通过率
• 代码审查能力：Agent 需要具备自我审查和改进代码质量的能力
• 上下文理解：Agent 需要更好地理解项目的编码规范和架构设计
• 多轮迭代：Agent 需要具备根据审查意见多轮迭代改进代码的能力

3. 改善用户体验

SWE-Gate 的评估结果可以帮助改善用户体验：

• 质量保证：用户可以信任通过 SWE-Gate 评估的 Agent 生成的代码质量
• 预期管理：用户可以更准确地预期 Agent 的能力和局限性
• 工具选择：用户可以根据 SWE-Gate 的评估结果选择适合的工具

4. 促进行业标准

SWE-Gate 可能促进行业标准的建立：

• 代码质量标准：推动建立编码 Agent 生成代码的质量标准
• 评估方法论：推动建立更科学、更全面的 Agent 评估方法论
• 认证机制：可能出现基于 SWE-Gate 的 Agent 认证机制

使用建议

对于研究者

• 使用 SWE-Gate 评估：在论文中同时报告 SWE-bench 和 SWE-Gate 成绩
• 关注代码质量：在研究中更加关注代码质量，而不仅仅是功能正确性
• 贡献审查标准：参与完善 SWE-Gate 的审查标准和评估方法
• 开源评估工具：开源评估工具，促进社区协作

对于企业用户

• 综合评估：在技术选型时，综合考虑 SWE-bench 和 SWE-Gate 成绩
• 内部评估：在内部使用 SWE-Gate 的方法评估 Agent 的实际表现
• 质量要求：在使用 Agent 时，明确代码质量要求，进行代码审查
• 渐进采用：先在低风险场景使用 Agent，逐步扩大使用范围

对于 Agent 开发者

• 优化代码质量：在开发 Agent 时，优化代码生成质量，而不仅仅是功能
• 自我审查能力：为 Agent 添加自我审查和改进代码质量的能力
• 上下文理解：提升 Agent 对项目编码规范和架构设计的理解能力
• 多轮迭代：支持根据审查意见多轮迭代改进代码

局限性和未来方向

局限性

SWE-Gate 也有一些局限性：

1. 审查主观性：代码审查有一定的主观性，不同审查者可能有不同的标准
2. AI 审查能力：使用 AI 进行审查时，AI 的审查能力可能不足
3. 评估成本：代码审查评估的成本高于简单的测试运行
4. 标准更新：审查标准需要不断更新，适应新的编程语言和框架
5. 覆盖范围：可能无法覆盖所有的代码质量维度

未来方向

SWE-Gate 的未来发展方向包括：

1. 更完善的审查标准：覆盖更多的代码质量维度，适应更多的编程语言和框架
2. 更智能的审查 AI：训练专门的代码审查 AI，提高审查准确性和一致性
3. 自动化评估工具：开发完全自动化的评估工具，降低评估成本
4. 社区驱动：建立社区驱动的审查标准和评估方法
5. 与其他基准整合：与 SWE-bench 等现有基准整合，提供统一的评估平台
6. 实时评估：支持实时评估 Agent 在实际开发中的表现

总结

SWE-Gate 是一个重要的创新，它填补了当前编码 Agent 基准测试的盲点。

核心要点：

1. 问题：当前基准测试（如 SWE-bench）只衡量测试通过率，忽略代码审查标准
2. 影响：导致虚高的性能、错误的优化方向、生产环境不适用
3. 解决方案：SWE-Gate 同时评估测试通过率和代码审查通过率
4. 评估流程：任务选择 → Agent 执行 → 测试评估 → 代码审查评估 → 综合评分
5. 审查维度：代码风格、命名规范、可读性、错误处理、安全性、性能、架构合理性等
6. 影响：更真实的性能评估、推动研究方向、改善用户体验、促进行业标准
7. 使用建议：研究者综合评估、企业用户内部评估、Agent 开发者优化代码质量

对于编码 Agent 的开发者和用户来说，SWE-Gate 提供了一个重要的视角：通过测试只是第一步，通过代码审查才是真正的完成。在真实的软件开发中，代码质量和功能正确性同样重要。

随着编码 Agent 的能力不断提升，评估方法也需要不断演进。SWE-Gate 代表了评估方法的一个重要方向：从单一维度到多维度，从功能正确到质量达标，从实验室到真实场景。

正如文章所暗示的，未来的编码 Agent 不仅要能写出通过测试的代码，还要能写出通过代码审查的代码。这才是真正实用的编码 Agent。

原文链接：https://dev.to/mech_app_ai/swe-gate-why-passing-tests-isnt-enough-for-agent-generated-code-16jf