SWE-bench 数据长什么样：Schema 详解与实例

概览

§ 1 数据格式：jsonl（每行一条 instance）

SWE-bench 原始数据集是 jsonl（JSON Lines，每行一个 JSON（JavaScript Object Notation，人类可读的文本数据格式）对象）格式——每行一个完整 JSON 对象，对应一条 instance。

• 流式读取：jsonl 可以逐行解析，2,294 条不用一次全部加载到内存
• 容易切分：用 head -100 / wc -l 等 shell 工具就能做粗筛
• 容错强：某行 JSON 解析失败不影响其他行
• git 友好：新增 1 行就是 1 个 diff，PR（Pull Request，GitHub 上的代码合并请求）review 容易

# swe-bench.jsonl 文件结构（每行 1 个 JSON）
{"instance_id": "django__django-10914", "repo": "django/django", ...}
{"instance_id": "django__django-11095", "repo": "django/django", ...}
{"instance_id": "matplotlib__matplotlib-13987", "repo": "matplotlib/matplotlib", ...}
...
（总共 2,294 行 / 文件约 380 MB）

§ 2 完整 Schema（9 个核心字段）

每条 instance 必含 9 个核心字段。下面用 TypeScript 风格表达 schema（? = 可选），并对每个字段详解。

type SWEBenchInstance = {
  // —— 身份与定位 ——
  instance_id: string,                    // "django__django-10914"
  repo: string,                          // "django/django"
  base_commit: string,                    // "abc123def..."（git commit hash）
  version: string,                       // "3.10" / "3.11" 等（Python 版本）

  // —— 题面 ——
  problem_statement: string,              // issue 文本（含 title + body）

  // —— 答案（ground truth，agent 看不到）——
  patch: string,                          // fix PR 的 git diff
  test_patch: string,                     // 配套测试改动

  // —— 评测契约（F2P / P2P）——
  fail_to_pass: string[],                 // F2P 测试 ID 列表
  pass_to_pass: string[]                  // P2P 测试 ID 列表
}

instance_id · 唯一标识

注意：django__django 是"仓库名 / 仓库名"格式的冗余（因为 GitHub owner 和 repo name 可能相同也可能不同，如 pallets__flask 的 owner 是 pallets、repo 是 flask）。这个命名沿用 GitHub Issue URL 的格式。

repo · GitHub 仓库标识

base_commit · 仓库起点 commit

version · Python 版本

problem_statement · issue 文本

patch · fix PR 的代码改动（ground truth）

test_patch · 配套测试改动

fail_to_pass · F2P 测试 ID 列表

pass_to_pass · P2P 测试 ID 列表

§ 3 真实实例展示（django__django-10914）

从 Lite 子集挑一条真实 instance，让你看到 9 个字段实际长什么样。为节省篇幅，patch / test_patch / problem_statement 截断显示。

{
  "instance_id": "django__django-10914",
  "repo": "django/django",
  "base_commit": "d8b8f8f8f8f8f8f8f8f8f8f8f8f8f8f8f8f8f8f8",
  "version": "3.10",
  "problem_statement": "FILE_UPLOAD_PERMISSION default to 0o644 is unsafe on multi-user systems...\n\n## Description\n\nWhen using `FileSystemStorage`, the default `FILE_UPLOAD_PERMISSION` is `0o644`, which means other users on the same system can read uploaded files...\n\n## Steps to Reproduce\n\n1. Set up a Django project with `FileSystemStorage`\n2. Upload a file via a form\n3. Check the file permissions: `ls -l /var/www/media/upload.txt`\n4. Observe: `-rw-r--r--` (world-readable)\n\n## Expected Behavior\n\nThe default should be `0o644` only if safe, but at minimum should not be world-writable...",

  "patch": "diff --git a/django/core/files/storage.py b/django/core/files/storage.py\nindex abc..def 100644\n--- a/django/core/files/storage.py\n+++ b/django/core/files/storage.py\n@@ -290,7 +290,7 @@ class FileSystemStorage(...)  :\n     def _save(self, name, content):\n         ...\n-        os.chmod(full_path, self.file_permissions_mode)\n+        os.chmod(full_path, self.file_permissions_mode & 0o777)\n         ...",

  "test_patch": "diff --git a/tests/file_storage/tests.py b/tests/file_storage/tests.py\nindex 123..456 100644\n--- a/tests/file_storage/tests.py\n+++ b/tests/file_storage/tests.py\n@@ -50,6 +50,15 @@ class FileStorageTests(SimpleTestCase):\n     def test_file_upload_permissions(self):\n         ...\n+    def test_file_upload_permissions_not_world_writable(self):\n+        # 测试：默认权限不应是 world-writable\n+        ...\n",

  "fail_to_pass": [
    "tests.file_storage.tests.FileStorageTests.test_file_upload_permissions_not_world_writable"
  ],
  "pass_to_pass": [
    "tests.file_storage.tests.FileStorageTests.test_file_upload_permissions",
    "tests.file_storage.tests.FileStorageTests.test_save_overwrite",
    "tests.file_storage.tests.FileStorageTests.test_delete",
    "... 约 200 个其他测试 ..."
  ]
}

                    problem_statement (题面)
                            ↓
                ┌─────────── agent ───────────┐
                │   读 base_commit 状态 + 题面  │
                │   写出 model_patch             │
                └─────────────────────────────┘
                            ↓
                       model_patch
                            ↓
              ┌─────────── 评测 ─────────────┐
              │  apply test_patch (定义 F2P)   │
              │  apply model_patch (agent 输出)│
              │  跑 fail_to_pass + pass_to_pass│
              └─────────────────────────────┘
                            ↓
                  ┌────── 判定 ──────┐
                  │  F2P 全过 + P2P 全过?  │
                  │    → resolved ✓    │
                  └─────────────────────┘

ground truth:  patch (agent 看不到，评测用不到，仅作分析)

§ 4 fail_to_pass / pass_to_pass 字段详解

这两个字段是 F2P/P2P 评测的实际清单——告诉评测 harness 要跑哪些测试、怎么判定。

• 每个条目是 pytest 的 test node ID（完整路径）
• 例子："django.test.utils_tests.test_functional.TestDatetimeWarnings.test_naive_datetime_warning"
• 格式：tests/<file>.py::<ClassName>::<test_method> 或 tests/<file>.py::<test_function>

# 1. 在 base_commit 状态跑测试（不 apply model_patch）
pre_results = pytest.run(test_ids = fail_to_pass + pass_to_pass)

# 2. apply model_patch + test_patch，跑同一批测试
post_results = pytest.run(test_ids = fail_to_pass + pass_to_pass)

# 3. 判定
for test_id in fail_to_pass:
    assert pre_results[test_id] == "FAIL"  # 起点 fail
    assert post_results[test_id] == "PASS"  # 修复后 pass

for test_id in pass_to_pass:
    assert pre_results[test_id] == "PASS"  # 起点 pass
    assert post_results[test_id] == "PASS"  # 修复后仍 pass

# 4. 全过 = resolved
resolved = all_f2p_passed and all_p2p_passed

§ 5 字段速查表（按字母序）

§ 6 怎么加载数据（本仓零依赖加载器）

本仓 swe_bench_warehouse/api/_internal 提供纯标准库加载器（不依赖 datasets / pandas），教学友好——你只需会 json + pathlib 就能用。

import sys
sys.path.insert(0, ".")  # 把项目根目录加进 path
from swe_bench_warehouse.api._internal import load, get, filter_by_repo, stats

# 1. 加载整个数据集
instances = load("swe-bench")                # list[Instance] · 2,294 条
print(f"总数: {len(instances)}")
print(f"前 1 条 instance_id: {instances[0].instance_id}")

# 2. 按 ID 查
inst = get("swe-bench", "django__django-10914")
print(f"问题: {inst.problem_statement[:100]}...")
print(f"F2P 测试数: {len(inst.fail_to_pass)}")
print(f"P2P 测试数: {len(inst.pass_to_pass)}")

# 3. 按 repo 过滤（django 全部题）
django_all = filter_by_repo("swe-bench", "django/django")
print(f"django 全部题: {len(django_all)}")

# 4. 统计元信息
s = stats("swe-bench")
print(f"总数: {s.total}, 仓库数: {s.repos}, 语言数: {s.languages}")

# 5. 关键字搜索
hits = search("swe-bench", "memory leak")    # 在 problem_statement 里搜
print(f"含 'memory leak' 的题: {len(hits)}")

§ 7 本仓数据集清单（swe_bench_warehouse/）

本仓 swe_bench_warehouse/raw/ 收录了 2 个 SWE-bench 变体（其他变体未收录）。

# 方法 1：用 huggingface CLI（推荐）
pip install datasets
huggingface-cli download SWE-bench/SWE-bench_Lite \
  --repo-type dataset \
  --local-dir ./swe_bench_warehouse/raw/

# 方法 2：用本仓构建脚本
python -m database.build_swe_bench --lite

# 拉完后文件位置
ls -la swe_bench_warehouse/raw/
# swe-bench.jsonl         (380 MB, 2,294 条)
# swe-bench-lite.jsonl    (50 MB, 300 条)

引用与配套资料