Forráskód Böngészése

docs: Extra14 改为用 Agent 合成报销任务,新增 reward hacking 和真实运行分析

- 实践部分改为给 Agent 一段 prompt,把月底汇总报销做成 Harbor 任务,记录 v1 到 v4 四轮迭代
- 配套代码改为 prompt.md、expense-summary/v1..v4、每轮反馈、gate.py、probe.py 和 probes/
- 新增第五节 Reward hacking,删去批量合成、经验总结和检查清单
- 用 Codex 和 gpt-6-luna 在 v4 上真实运行一次,附上 sample-jobs 并在第三节分析
- 更新配图和 README 索引

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Sun Tao 1 hete
szülő
commit
8147e5974c
100 módosított fájl, 1753 hozzáadás és 812 törlés
  1. 279 373
      Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md
  2. BIN
      Extra-Chapter/images/Extra14-figures/04-两版Verifier实测对比.png
  3. BIN
      Extra-Chapter/images/Extra14-figures/04-各版本探针得分.png
  4. BIN
      Extra-Chapter/images/Extra14-figures/05-批量合成流水线.png
  5. BIN
      Extra-Chapter/images/Extra14-figures/08-四轮迭代.png
  6. BIN
      Extra-Chapter/images/Extra14-figures/09-真实运行的trial页面.png
  7. BIN
      Extra-Chapter/images/Extra14-figures/paper-agent-world-figure2.png
  8. BIN
      Extra-Chapter/images/Extra14-figures/paper-evoenv-figure1.png
  9. BIN
      Extra-Chapter/images/Extra14-figures/web-harbor-viewer-verifier.png
  10. 1 1
      README.md
  11. 1 1
      README_EN.md
  12. 0 1
      code/extra14_rl_env/.gitignore
  13. 27 18
      code/extra14_rl_env/README.md
  14. 26 0
      code/extra14_rl_env/expense-summary/feedback-1.md
  15. 21 0
      code/extra14_rl_env/expense-summary/feedback-2.md
  16. 7 0
      code/extra14_rl_env/expense-summary/feedback-3.md
  17. 2 1
      code/extra14_rl_env/expense-summary/v1/environment/Dockerfile
  18. 7 0
      code/extra14_rl_env/expense-summary/v1/environment/input.csv
  19. 8 0
      code/extra14_rl_env/expense-summary/v1/instruction.md
  20. 27 0
      code/extra14_rl_env/expense-summary/v1/solution/solve.sh
  21. 13 0
      code/extra14_rl_env/expense-summary/v1/task.toml
  22. 4 0
      code/extra14_rl_env/expense-summary/v1/tests/Dockerfile
  23. 70 0
      code/extra14_rl_env/expense-summary/v1/tests/grade.py
  24. 7 0
      code/extra14_rl_env/expense-summary/v1/tests/input.csv
  25. 3 0
      code/extra14_rl_env/expense-summary/v1/tests/test.sh
  26. 2 1
      code/extra14_rl_env/expense-summary/v2/environment/Dockerfile
  27. 7 0
      code/extra14_rl_env/expense-summary/v2/environment/input.csv
  28. 8 0
      code/extra14_rl_env/expense-summary/v2/instruction.md
  29. 5 0
      code/extra14_rl_env/expense-summary/v2/solution/solve.sh
  30. 43 0
      code/extra14_rl_env/expense-summary/v2/solution/summarize.py
  31. 10 0
      code/extra14_rl_env/expense-summary/v2/task.toml
  32. 4 0
      code/extra14_rl_env/expense-summary/v2/tests/Dockerfile
  33. 95 0
      code/extra14_rl_env/expense-summary/v2/tests/grade.py
  34. 7 0
      code/extra14_rl_env/expense-summary/v2/tests/input.csv
  35. 7 0
      code/extra14_rl_env/expense-summary/v2/tests/task_input.csv
  36. 3 0
      code/extra14_rl_env/expense-summary/v2/tests/test.sh
  37. 4 0
      code/extra14_rl_env/expense-summary/v3/environment/Dockerfile
  38. 7 0
      code/extra14_rl_env/expense-summary/v3/environment/input.csv
  39. 8 0
      code/extra14_rl_env/expense-summary/v3/instruction.md
  40. 5 0
      code/extra14_rl_env/expense-summary/v3/solution/solve.sh
  41. 43 0
      code/extra14_rl_env/expense-summary/v3/solution/summarize.py
  42. 10 0
      code/extra14_rl_env/expense-summary/v3/task.toml
  43. 4 0
      code/extra14_rl_env/expense-summary/v3/tests/Dockerfile
  44. 104 0
      code/extra14_rl_env/expense-summary/v3/tests/grade.py
  45. 9 0
      code/extra14_rl_env/expense-summary/v3/tests/input.csv
  46. 7 0
      code/extra14_rl_env/expense-summary/v3/tests/task_input.csv
  47. 3 0
      code/extra14_rl_env/expense-summary/v3/tests/test.sh
  48. 4 0
      code/extra14_rl_env/expense-summary/v4/environment/Dockerfile
  49. 7 0
      code/extra14_rl_env/expense-summary/v4/environment/input.csv
  50. 8 0
      code/extra14_rl_env/expense-summary/v4/instruction.md
  51. 5 0
      code/extra14_rl_env/expense-summary/v4/solution/solve.sh
  52. 43 0
      code/extra14_rl_env/expense-summary/v4/solution/summarize.py
  53. 10 0
      code/extra14_rl_env/expense-summary/v4/task.toml
  54. 4 0
      code/extra14_rl_env/expense-summary/v4/tests/Dockerfile
  55. 139 0
      code/extra14_rl_env/expense-summary/v4/tests/grade.py
  56. 9 0
      code/extra14_rl_env/expense-summary/v4/tests/input.csv
  57. 7 0
      code/extra14_rl_env/expense-summary/v4/tests/task_input.csv
  58. 3 0
      code/extra14_rl_env/expense-summary/v4/tests/test.sh
  59. 70 0
      code/extra14_rl_env/gate.py
  60. 5 5
      code/extra14_rl_env/probe.py
  61. 0 4
      code/extra14_rl_env/probes/mutant_clamp_negative.sh
  62. 5 0
      code/extra14_rl_env/probes/mutant_ge_500.sh
  63. 0 3
      code/extra14_rl_env/probes/mutant_ignore_refund.sh
  64. 5 0
      code/extra14_rl_env/probes/mutant_no_format.sh
  65. 5 0
      code/extra14_rl_env/probes/mutant_sorted_names.sh
  66. 0 3
      code/extra14_rl_env/probes/mutant_truncate.sh
  67. 0 3
      code/extra14_rl_env/probes/shortcut_edit_data.sh
  68. 9 3
      code/extra14_rl_env/probes/shortcut_hardcode.sh
  69. 11 0
      code/extra14_rl_env/probes/shortcut_kill_grader.sh
  70. 12 0
      code/extra14_rl_env/probes/shortcut_rewrite_input.sh
  71. 27 0
      code/extra14_rl_env/probes/variant_float.sh
  72. 0 16
      code/extra14_rl_env/probes/variant_rewrite.sh
  73. 14 0
      code/extra14_rl_env/prompt.md
  74. 17 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/config.json
  75. 39 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/result.json
  76. 10 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/agent/codex.txt
  77. 154 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/agent/trajectory.json
  78. 3 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/artifacts/app/over_500.csv
  79. 47 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/artifacts/app/summarize.py
  80. 4 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/artifacts/app/summary.csv
  81. 34 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/artifacts/manifest.json
  82. 13 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/config.json
  83. 130 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/result.json
  84. 1 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/verifier/reward.txt
  85. 1 0
      code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/verifier/test-stdout.txt
  86. 0 8
      code/extra14_rl_env/synth/seeds.json
  87. 0 204
      code/extra14_rl_env/synth/synthesize.py
  88. 0 4
      code/extra14_rl_env/tasks/order-stats-v1/environment/orders.csv
  89. 0 16
      code/extra14_rl_env/tasks/order-stats-v1/environment/stats.py
  90. 0 7
      code/extra14_rl_env/tasks/order-stats-v1/instruction.md
  91. 0 12
      code/extra14_rl_env/tasks/order-stats-v1/solution/solve.sh
  92. 0 17
      code/extra14_rl_env/tasks/order-stats-v1/task.toml
  93. 0 46
      code/extra14_rl_env/tasks/order-stats-v1/tests/check.py
  94. 0 2
      code/extra14_rl_env/tasks/order-stats-v1/tests/test.sh
  95. 0 4
      code/extra14_rl_env/tasks/order-stats-v2/environment/orders.csv
  96. 0 16
      code/extra14_rl_env/tasks/order-stats-v2/environment/stats.py
  97. 0 7
      code/extra14_rl_env/tasks/order-stats-v2/instruction.md
  98. 0 12
      code/extra14_rl_env/tasks/order-stats-v2/solution/solve.sh
  99. 0 19
      code/extra14_rl_env/tasks/order-stats-v2/task.toml
  100. 0 5
      code/extra14_rl_env/tasks/order-stats-v2/tests/cases/basic.csv

+ 279 - 373
Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md

@@ -1,84 +1,35 @@
-# Agent RL 环境入门:从一个任务目录到批量合成
+# Agent RL 环境入门与合成实战
 
 第十一章讲 Agentic RL 时,reward 函数写起来很简单:拿模型的答案和标准答案比一比,对了就给分。GSM8K 这类数学题,这样做完全够用。
 
 Agent 的活就没这么好判了。它要修代码、改配置、操作数据库,跑完留下的是一堆被改过的文件和状态。想给它打分,得先确认这些状态对不对,再确认它没有钻空子,而且同一份结果复评,结论得一样。把任务说明、初始状态和这套判分逻辑打包到一起,就是这篇要讲的 RL 环境。
 
-本章节写给用过 Agent、但没接触过 RL 环境的读者,不需要强化学习基础。前三节讲概念和 [Harbor](https://github.com/harbor-framework/harbor),第四节动手写一个环境,后面几节讲 verifier、批量合成、难度和公平,最后讲怎么接到评测和训练上。
+本章节写给用过 Agent、但没接触过 RL 环境的读者,不需要强化学习基础。我们也想借这一章说明,日常工作和学习里的很多任务,都可以变成一个 RL 环境。前两节讲概念和 [Harbor](https://github.com/harbor-framework/harbor),第三节让 Agent 把一件日常工作做成环境,后面几节讲 verifier、reward hacking、难度和公平,最后讲怎么接到评测和训练上。
 
-文中的案例都做过脱敏和简化,不对应具体项目。贴出来的运行结果都来自配套的小任务,代码在 [code/extra14_rl_env](../code/extra14_rl_env),装好 Docker 就能复现,不需要 API key。
+文中的案例来自于笔者的日常工作经验。贴出来的运行结果都来自配套代码,在 [code/extra14_rl_env](../code/extra14_rl_env)。除了让 Agent 生成任务和最后让 Agent 真正做题这两步,其他步骤装好 Docker 就能复现,不需要 API key。
 
 ---
 
 ## 目录
 
-- [第一节:什么都没做,也能拿 0.75 分](#第一节什么都没做也能拿-075-分)
-- [第二节:RL 环境到底是什么](#第二节rl-环境到底是什么)
-- [第三节:Harbor 是什么](#第三节harbor-是什么)
-- [第四节:动手写第一个环境](#第四节动手写第一个环境)
-- [第五节:Verifier 怎么才算靠谱](#第五节verifier-怎么才算靠谱)
-- [第六节:怎么批量合成环境](#第六节怎么批量合成环境)
-- [第七节:难度与公平](#第七节难度与公平)
-- [第八节:接到评测和训练](#第八节接到评测和训练)
-- [这次留下来的经验](#这次留下来的经验)
-- [上线前检查清单](#上线前检查清单)
-- [后面还会补的内容](#后面还会补的内容)
+- [第一节:RL 环境到底是什么](#第一节rl-环境到底是什么)
+- [第二节:Harbor 是什么](#第二节harbor-是什么)
+- [第三节:让 Agent 把一件日常工作做成环境](#第三节让-agent-把一件日常工作做成环境)
+- [第四节:Verifier 怎么才算靠谱](#第四节verifier-怎么才算靠谱)
+- [第五节:Reward hacking](#第五节reward-hacking)
+- [第六节:难度与公平](#第六节难度与公平)
+- [第七节:接到评测和训练](#第七节接到评测和训练)
 - [参考资料与图片来源](#参考资料与图片来源)
 
 ---
 
-## 第一节:什么都没做,也能拿 0.75 分
-
-有一次审查任务,我们照例先跑了一个什么都不做的空 Agent,结果分数不是 0。打开 verifier 一看,有几条测试根本没碰 Agent 的代码,测的是 verifier 自己的辅助函数,等于每次固定送分。
-
-这种问题后来又碰到过好几次,我把它还原成了一个小任务。任务是修一个订单统计脚本:退款本该从总额里扣掉,脚本却把它加了上去。verifier 一共 4 条检查,注释是我为了讲解加的:
-
-```python
-def check_parser():          # 只测 verifier 自己的解析函数
-    return parse_output('{"alice": 70.0}') == {"alice": 70.0}
-
-def check_data_exists():     # 只看示例数据还在不在
-    return os.path.exists("/app/orders.csv")
-
-def check_output_is_json():  # 没修的脚本也能输出 JSON
-    return isinstance(run_stats(), dict)
-
-def check_alice_total():     # 只有这一条在测需求
-    return run_stats().get("alice") == 70.0
-```
-
-每一条单看都说得过去。让空 Agent 跑一次:
-
-```bash
-harbor run -p tasks/order-stats-v1 -a nop
-```
-
-```text
-check_parser: PASS
-check_data_exists: PASS
-check_output_is_json: PASS
-check_alice_total: FAIL
-
-┏━━━━━━━━┳━━━━━━━┓
-┃ Reward ┃ Count ┃
-┡━━━━━━━━╇━━━━━━━┩
-│ 0.75   │     1 │
-└────────┴───────┘
-```
-
-什么都没改,拿了 0.75 分。
-
-放在评测里,这会把所有模型的分数一起抬高;放在训练里更麻烦,模型什么都不学就能拿到大半奖励,它最后学会的可能就是这个漏洞。所以现在我们写完任务,第一件事就是跑空解,不是 0 分就先别往下走。
-
----
-
-## 第二节:RL 环境到底是什么
+## 第一节:RL 环境到底是什么
 
 先看经典的强化学习循环:Agent 做一个动作,环境返回新的观测和奖励,然后 Agent 再做下一个动作。
 
 <div align="center">
   <img src="./images/Extra14-figures/web-gymnasium-agent-environment-loop.png" alt="经典强化学习的 Agent 与环境交互循环" width="48%"/>
-  <p><strong>图 1</strong> 经典 RL 循环。图片来源:<a href="https://github.com/Farama-Foundation/Gymnasium">Gymnasium 文档</a>(MIT 许可证)</p>
+  <p><strong>图 1</strong> 经典 RL 循环。图片来源:<a href="https://github.com/Farama-Foundation/Gymnasium">Gymnasium 文档</a></p>
 </div>
 
 Gymnasium 把这个循环写成了两个函数,后来很多 RL 环境都沿用了这套接口:
@@ -103,20 +54,20 @@ observation, reward, terminated, truncated, info = env.step(action)
 
 还有,环境不等于沙箱。沙箱只管隔离,环境还要有任务说明、初始状态和判分逻辑。光有沙箱,Agent 进去了也不知道要做什么、做得怎么样。
 
-判断一个环境好不好,我主要看下面四点:
+判断一个环境好不好,我们可以主要看下面四点:
 
 | 要求 | 做不到会怎样 |
 | --- | --- |
 | 可重复:同一个任务多跑几次,初始状态和判分标准都不变 | 分数变了,分不清是模型变了还是环境变了 |
 | 隔离:Agent 碰不到答案和判分逻辑 | 模型学会的是找答案,不是解题 |
-| 验证比解题容易:解题可以很难,判对错要便宜、稳定 | 判分本身靠不住,reward 就成了噪声 |
+| 验证比解题容易:解题可以很难,判对错要便宜、稳定 | 判分如果不稳定,reward 可能成为噪声 |
 | 有区分度:不是谁都能过,也不是谁都过不了 | 分数给不出任何信号 |
 
 第三点在 [EvoEnv](https://arxiv.org/abs/2605.14392) 论文里叫 solve-verify asymmetry。排序就是个直观的例子:把一堆数排好要费点功夫,检查排得对不对却很简单。
 
 ---
 
-## 第三节:Harbor 是什么
+## 第二节:Harbor 是什么
 
 [Harbor](https://github.com/harbor-framework/harbor) 是 Terminal-Bench 团队做的开源框架,Apache-2.0 协议,用来在容器里评测和优化 Agent。
 
@@ -141,7 +92,7 @@ Harbor 里有五个概念会反复出现:
 
 判分脚本只要遵守一个约定:把分数写进 `/logs/verifier/reward.txt`,有多个分项的话写进 `reward.json`。
 
-Harbor 还内置了两个不调模型的 Agent,用起来不花钱,写任务时几乎天天要用。一个是 `oracle`,它运行任务自带的 `solution/solve.sh`,用来证明这道题做得出来;另一个是 `nop`,什么都不做,用来证明空解拿不到分。第一节那个 0.75 分,就是 `nop` 跑出来的。
+Harbor 还内置了两个不调模型的 Agent,不需要 API key。一个是 `oracle`,它运行任务自带的 `solution/solve.sh`,用来证明这道题做得出来;另一个是 `nop`,什么都不做,用来证明空解拿不到分。
 
 一次 Trial 大致是这样走的,注意两个容器之间的边界:
 
@@ -152,7 +103,7 @@ Harbor 还内置了两个不调模型的 Agent,用起来不花钱,写任务
 
 这是 Harbor 的 separate verifier 模式:判分时另起一个干净的容器,里面只有 `tests/` 和你声明过的 artifacts。用 `harbor init` 新建任务,默认就是这个模式。
 
-我们一开始不是这么做的。早期有的任务把标准答案直接打进镜像,再靠文件权限和非 root 用户挡住 Agent。后来发现这道防线放错了位置:答案只要和 Agent 待在同一个镜像里,就总能从某个地方漏出去,日志、报错信息、打包时顺手带进去的文件都出过事。把答案挡在 Agent 的容器外面,要稳得多。
+这样做的好处是,标准答案从头到尾都不进 Agent 的容器。要是把答案打进 Agent 的镜像,再靠文件权限和非 root 用户去挡,防线就设在了 Agent 自己的地盘上,日志、报错信息、打包时顺手带进去的文件,哪一处有疏漏,答案都可能漏出去。
 
 除了 Harbor,下面几个项目也常被放在一起讨论,顺便列一下它们各自管哪一块:
 
@@ -164,15 +115,24 @@ Harbor 还内置了两个不调模型的 Agent,用起来不花钱,写任务
 | [Harbor](https://github.com/harbor-framework/harbor) | 把任务打包成目录,在容器里运行各种 Agent 并打分 |
 | [SkyRL](https://github.com/NovaSky-AI/SkyRL) | 面向 LLM 的全栈 RL 库,负责训练这一侧,可以把 Harbor 当作环境和 reward 来源 |
 
-这篇用 Harbor 来讲,不过后面的判分和合成思路,换到别的框架上也一样适用。
+本篇以 Harbor 为例,后面讲的判分和合成思路,换到别的框架上也一样适用。
 
 ---
 
-## 第四节:动手写第一个环境
+## 第三节:让 Agent 把一件日常工作做成环境
+
+讲了这么多,RL 环境听起来好像离日常很远。其实你每天在做的很多事,本身就有明确的输入和对错标准:整理报销表、按规则给一批文件改名、从日志里统计报错、根据成绩表算平均分。这类事能不能做成环境,主要看两点:一是初始状态能不能在容器里准备好,二是做完以后,结果能不能用程序检查。两点都满足,就能做成环境。像“这份周报写得好不好”这种,第二点就很难做到,得让 LLM 当 judge,第四节会讲到。
+
+这一节拿一件最普通的办公小事来做:每月月底汇总报销明细。我们不自己写任务,而是给 Agent 一段 prompt,让它把这件事做成 Harbor 任务,再拿程序去检查它写得对不对。生成出来的任务并不完美,前后改了四版,每一版暴露的问题,也是合成 RL 环境时需要重点解决的问题。
+
+<div align="center">
+  <img src="./images/Extra14-figures/08-四轮迭代.png" alt="报销汇总任务从 v1 到 v4 的四轮迭代过程" width="92%"/>
+  <p><strong>图 5</strong> 把一件日常工作做成环境的四轮迭代</p>
+</div>
 
 ### 准备
 
-只需要 Docker 和 Harbor,下面的结果都是在 Harbor v0.25.0 上跑的。
+需要 Docker 和 Harbor,下面的结果都是在 Harbor v0.25.0 上跑的。
 
 ```bash
 uv tool install harbor    # 或者 pip install harbor
@@ -180,160 +140,278 @@ git clone https://github.com/datawhalechina/hello-agents.git
 cd hello-agents/code/extra14_rl_env
 ```
 
-### 任务长什么样
+生成任务还需要一个能读写文件的 Agent,Claude Code、Codex、Cursor 都可以。生成任务和最后让 Agent 做题这两步要花模型费用。我们跑出来的四个版本放在 `expense-summary/v1` 到 `v4` 里,真实运行的结果放在 `sample-jobs/` 里,不想花钱的话,可以直接用它们复现和查看后面的每一步。
+
+### 种子和 prompt
+
+种子就是用大白话描述的一件事,prompt 告诉 Agent 要做成什么样。
+
+种子的来源可以很多:自己每天重复在做的工作,GitHub 上一个已经修好的 issue,一道带标准答案的作业题或考试题,某个软件的操作手册,一份公开数据集上的分析问题。只要满足前面说的两点,初始状态能在容器里准备好,结果能用程序检查,都可以拿来当种子。这一节的种子,就是 prompt 最后那段对报销汇总的描述。
 
-第一节那个任务在 `tasks/order-stats-v1`:
+配套代码里的 `prompt.md` 是这样写的:
 
 ```text
-order-stats-v1/
-├── task.toml             # 配置
-├── instruction.md        # Agent 看到的任务说明
-├── environment/
-│   ├── Dockerfile
-│   ├── stats.py          # 有 bug 的统计脚本
-│   └── orders.csv        # 示例数据
-├── solution/
-│   └── solve.sh          # 参考解
-└── tests/
-    ├── test.sh           # verifier 入口
-    └── check.py          # 判分逻辑
+把下面这件日常工作做成一个 Harbor 任务,写在当前目录。
+
+Harbor 的任务格式见 https://github.com/harbor-framework/harbor/tree/main/docs-mintlify/tasks ,
+重点看 overview、separate-verifier 和 artifacts 三篇。
+
+要求:
+- 用 separate verifier,判分需要的 Agent 产出声明为 artifacts
+- 判分用 tests/ 里另外准备的数据,只考 instruction.md 写了的要求
+- 什么都不做得 0 分,参考解得 1 分
+- 日志里不打印期望值
+- 任务保持简单
+
+任务:
+每个月月底,我要把同事提交的报销明细汇总一下:按人算出报销总额,再把单笔超过 500 元的记录挑出来,交给财务复核。明细是一个 CSV 文件,列有日期、姓名、类别、金额。
+```
+
+最开始的 prompt 可以尽量简短,后面再慢慢迭代。
+
+你可以在一个空目录里打开自己的 Agent,把这段 prompt 贴进去试试。Agent 需要能联网读文档,有的工具默认在沙箱里断网,要先打开网络权限。为了教学,本文用 Codex 加一个较弱的模型 gpt-6-luna 来生成这个任务,这样任务会暴露出更多问题,实际生产中一般会用当前最强的模型。每次生成的结果都不一样,你跑出来的任务多半和下面的不同。
+
+### 第一版:生成出来了,但跑不起来
+
+Agent 花了两分半钟,写出 9 个文件:题面、示例明细、参考解、判分脚本、判分用的另一份明细,以及 `task.toml`:
+
+```toml
+schema_version = "1.4"
+artifacts = ["/app/summary.csv", "/app/over_500.csv"]
+
+[task]
+name = "expense-summary/monthly-reimbursements"
+description = "按人汇总报销金额并筛出超过 500 元的记录"
+
+[environment]
+network_mode = "no-network"
+
+[verifier]
+environment_mode = "separate"
+timeout_sec = 60
 ```
 
-先分别跑一下空解和参考解:
+光看文件挑不出毛病。检查交给配套的 `gate.py`,它依次跑三道门禁:`harbor lint` 静态检查,参考解要拿满分,空解要拿 0 分。
 
 ```bash
-harbor run -p tasks/order-stats-v1 -a nop      # 0.75
-harbor run -p tasks/order-stats-v1 -a oracle   # 1.0
+python3 gate.py expense-summary/v1
 ```
 
-结果会存在 `jobs/<时间>/<trial>/` 下面,`verifier/reward.txt` 是分数,`verifier/test-stdout.txt` 是判分脚本打印的内容。
+```text
+gate    expect    result  status
+lint    no error  ok      ok
+oracle  == 1      infra   FAIL
+nop     == 0      infra   FAIL
+
+oracle 没有拿到 reward,Harbor 输出:
+ValueError: network_mode='no-network' is not supported by EnvironmentType.DOCKER environment. Environment providers must enforce the requested network policy or reject the task.
+```
+
+静态检查过了,任务却根本启动不了。Agent 在 `task.toml` 里加了一行断网配置,但 Harbor 要靠宿主机的内核才能实现断网,我这台 Mac 上的 Docker Desktop 做不到。
+
+我把这一行删掉再跑:
+
+```text
+oracle  == 1      0.00    FAIL
+nop     == 0      0.00    ok
+
+oracle 得分 0.00,判分脚本输出:
+Summary CSV does not match the required per-person totals.
+```
+
+参考解拿了 0 分。原因在 `artifacts` 那一行:Agent 让做题的人交两份结果文件,结果是用示例明细算出来的;判分脚本却用 `tests/` 里的另一份明细重新算期望值。两份数据不一样,怎么做都对不上。prompt 里要求“判分用另外准备的数据”,可交上来的如果只是结果,另外的数据根本用不上。要用隐藏数据判分,做题的人交的必须是一个能处理任意输入的程序。
+
+### 第二版:把检查结果交回去
 
-Harbor 自带的静态检查其实已经提醒过一次了:
+我没有告诉 Agent 原因,只是把 prompt 和上面两次检查的输出原样贴回去,最后加一句“请修改当前目录里的任务”。贴回去的原文在 `expense-summary/feedback-1.md`。
+
+Agent 自己找到了病根。新的题面要求写一个程序:
+
+> 请编写 `/app/summarize.py`,用 Python 标准库实现报销明细汇总。程序接收三个位置参数:输入 CSV 路径、汇总 CSV 输出路径、复核明细 CSV 输出路径。
+
+`artifacts` 里加上了这个脚本。判分时先核对它用示例数据生成的两份结果,再拿隐藏数据去跑它。断网配置也去掉了。三道门禁全过:
 
 ```text
-$ harbor lint tasks/order-stats-v1
-tasks/order-stats-v1/task.toml [shared-verifier] Verifier shares the agent sandbox; set verifier.environment_mode = "separate", including shared step overrides.
+gate    expect    result  status
+lint    no error  ok      ok
+oracle  == 1      1.00    ok
+nop     == 0      0.00    ok
 ```
 
-它说的是 verifier 和 Agent 共用了一个沙箱,这一点后面会改。
+### 用探针检查判分
 
-### 用探针戳一戳 verifier
+门禁全过,只能说明任务能跑、做得出来、躺平拿不到分,判得准不准还不知道。
 
-下面这个小技巧我很喜欢。`oracle` 做的事只是运行 `solve.sh`,那把 `solve.sh` 换成别的脚本,就能模拟各种 Agent 的行为,一分钱模型费用都不用花。配套的 `probe.py` 就是这么做的,它准备了三类解法:
+这里有个我很喜欢的小技巧。`oracle` 做的事只是运行 `solve.sh`,那把 `solve.sh` 换成别的脚本,就能模拟各种做题行为,一分钱模型费用都不用花。我照着题面写了 7 个这样的脚本,放在 `probes/` 下,配套的 `probe.py` 会把它们连同参考解、空解一起跑一遍:
 
-- `variant`:另一种正确写法,应该满分
-- `shortcut`:取巧的写法,比如写死示例答案,或者不改代码只改数据,应该 0 分
-- `mutant`:故意改坏一处,比如把退款跳过而不是扣除,不应该满分
+| 探针 | 做了什么 | 应得 |
+| --- | --- | --- |
+| `variant_float` | 换一种写法实现,用 float 和 `csv.reader` | 满分 |
+| `shortcut_hardcode` | 手算示例数据的结果写死,脚本只负责复制 | 0 分 |
+| `shortcut_rewrite_input` | 示例结果手写;被判分调用时,把传进来的输入文件改成只剩表头,再输出空表 | 0 分 |
+| `shortcut_kill_grader` | 示例结果手写;被判分调用时,往 reward 文件里写 1,再结束判分进程 | 0 分 |
+| `mutant_ge_500` | 在参考解上改一处:刚好 500 元的记录也挑出来 | 不满分 |
+| `mutant_sorted_names` | 在参考解上改一处:汇总按姓名排序,而不是按首次出现的顺序 | 不满分 |
+| `mutant_no_format` | 在参考解上改一处:总额不再保留两位小数 | 不满分 |
 
 ```bash
-python3 probe.py tasks/order-stats-v1
+python3 probe.py expense-summary/v2
 ```
 
 ```text
 probe                   expect  reward  result
 oracle                  == 1    1.00    ok
-nop                     == 0    0.75    WRONG
-mutant_clamp_negative   < 1     1.00    WRONG
-mutant_ignore_refund    < 1     0.75    ok
-mutant_truncate         < 1     1.00    WRONG
-shortcut_edit_data      == 0    1.00    WRONG
-shortcut_hardcode       == 0    1.00    WRONG
-variant_rewrite         == 1    1.00    ok
-
-5 probe(s) judged wrongly
+nop                     == 0    0.00    ok
+mutant_ge_500           < 1     0.00    ok
+mutant_no_format        < 1     1.00    WRONG
+mutant_sorted_names     < 1     0.00    ok
+shortcut_hardcode       == 0    0.00    ok
+shortcut_kill_grader    == 0    1.00    WRONG
+shortcut_rewrite_input  == 0    1.00    WRONG
+variant_float           == 1    1.00    ok
+
+3 probe(s) judged wrongly
 ```
 
-8 种解法判错了 5 种。最离谱的是 `shortcut_edit_data`,它一行代码没改,只是把 `orders.csv` 里的退款行抹平,就拿了满分,因为 verifier 读的正是 Agent 能改的那份数据。
+判错了 3 个。
 
-### 修成 v2
+`mutant_no_format` 没保留两位小数,也拿了满分。翻一下隐藏数据就明白了:每个人的金额加起来,本身就是两位小数,所以格式化不格式化,结果都一样。题面写了这条要求,数据却没考到它。
 
-`tasks/order-stats-v2` 改了三处。
+剩下两个问题更严重,都是作弊成功了。判分时,判分程序会运行 Agent 写的脚本,这段代码是在判分容器里跑的,碰得到判分程序能碰的东西。v2 的判分是这么写的:
 
-一是 verifier 换到单独的容器里跑,只把 `stats.py` 带过去。Agent 改了别的什么东西,都带不进验证容器:
+```python
+subprocess.run([sys.executable, SCRIPT, TEST_INPUT, summary_path, filtered_path], ...)
+...
+if not check_outputs(TEST_INPUT, summary_path, filtered_path):   # 这里又读了一遍 TEST_INPUT
+```
 
-```toml
-schema_version = "1.4"
-artifacts = ["/app/stats.py"]
+它把隐藏数据的路径直接交给脚本,脚本跑完,再重新读这份文件来算期望值。脚本只要把文件改成只剩表头,期望值就跟着变成空表,再交一份空表上去,判分就认为它对了。`shortcut_kill_grader` 则更直接:候选脚本和判分程序都以 root 身份跑在同一个容器里,它可以自己往 reward 文件里写满分,再把判分进程结束掉。
 
-[verifier]
-timeout_sec = 60.0
-environment_mode = "separate"
+这类作弊在 RL 里叫 reward hacking,第五节会专门讲。
+
+### 第三版和第四版:继续交回去
+
+我把前两个问题的探针结果交回给 Agent,同样只描述探针做了什么、得了几分。最后加了一句“请修改判分部分(tests/),参考解保持不变”。限定改动范围有两个原因:一是单点改坏的探针是在参考解上改的,参考解一变,探针就不准了;二是避免它为了过检查去改题目,第五节会讲这个坑。反馈原文在 `feedback-2.md`。
+
+v3 只改了 `tests/` 下的两个文件。隐藏数据补了一个总额刚好是整数的人:
+
+```text
+2025-01-09,吴敏,办公,20
+2025-01-10,吴敏,交通,30
 ```
 
-二是判分数据放进 `tests/`,Agent 看不到,而且每条用例都带退款行。没修的脚本一条也过不了,写死示例答案也没用:
+判分改成先算好期望值,交给脚本的是一份副本:
 
 ```python
-CASES = {
-    "refund_is_subtracted": ("basic.csv", {"dave": 170.0, "erin": 40.0}),
-    "refund_only_user_goes_negative": ("refund_only.csv", {"frank": -25.0, "grace": 5.0}),
-    "decimal_amounts": ("decimals.csv", {"heidi": 15.25}),
-    "refund_before_order": ("refund_first.csv", {"ivan": 90.0}),
-}
+expected_summary, expected_filtered = expected_rows(test_source)   # 先算好期望值
+shutil.copyfile(TEST_INPUT, staged_input)                          # 交给脚本的是一份副本
+subprocess.run([sys.executable, SCRIPT, staged_input, summary_path, filtered_path], ...)
 ```
 
-三是每条检查都要真正运行候选代码,顺手处理了几个细节:
+再跑探针,`mutant_no_format` 和 `shortcut_rewrite_input` 都判对了,只剩 `shortcut_kill_grader` 还能拿满分。这个探针是 v3 出来以后我才想到的,所以第二轮反馈里没有它;前面 v2 那张表,是后来用全套探针补跑的。
+
+第三轮反馈只讲这一个问题(`feedback-3.md`)。v4 的改法是让候选脚本以低权限的 `nobody` 用户运行:
 
 ```python
-def run_candidate(csv_path):
-    # -I 让候选代码目录里的同名模块无法劫持解释器
-    out = subprocess.run(
-        [sys.executable, "-I", "/app/stats.py", csv_path],
-        capture_output=True, text=True, timeout=10, cwd="/tmp",
-    )
-    return json.loads(out.stdout)
-
-def matches(actual, expected):
-    if set(actual) != set(expected):
-        return False
-    # 浮点数用容差比较,别因为精度差异冤枉正确答案
-    return all(math.isclose(actual[k], expected[k], abs_tol=1e-6) for k in expected)
+nobody = pwd.getpwnam("nobody")
+...
+subprocess.run(
+    [sys.executable, SCRIPT, staged_input, summary_path, filtered_path],
+    ...,
+    preexec_fn=lambda: drop_privileges(nobody.pw_uid, nobody.pw_gid),
+)
 ```
 
-同一批探针再跑一遍:
+运行之前,判分程序还把 `/logs/verifier` 改成只有 root 能写,把隐藏数据暂时改成谁都读不了。
+
+Agent 交回 v4 时说它“验证过了”:作弊探针 0 分,参考解 1 分。可它所在的沙箱连不上 Docker,最多只是在本地模拟了一下。所以我还是用真实运行复核了一遍:
 
 ```text
 probe                   expect  reward  result
 oracle                  == 1    1.00    ok
 nop                     == 0    0.00    ok
-mutant_clamp_negative   < 1     0.75    ok
-mutant_ignore_refund    < 1     0.00    ok
-mutant_truncate         < 1     0.75    ok
-shortcut_edit_data      == 0    0.00    ok
+mutant_ge_500           < 1     0.00    ok
+mutant_no_format        < 1     0.00    ok
+mutant_sorted_names     < 1     0.00    ok
 shortcut_hardcode       == 0    0.00    ok
-variant_rewrite         == 1    1.00    ok
+shortcut_kill_grader    == 0    0.00    ok
+shortcut_rewrite_input  == 0    0.00    ok
+variant_float           == 1    1.00    ok
 
 0 probe(s) judged wrongly
 ```
 
+这次全部判对。三个版本的得分放在一起看:
+
 <div align="center">
-  <img src="./images/Extra14-figures/04-两版Verifier实测对比.png" alt="8 种解法在 v1 和 v2 两版 verifier 上的实测得分对比" width="88%"/>
-  <p><strong>图 5</strong> 8 种解法在两版 verifier 上的得分</p>
+  <img src="./images/Extra14-figures/04-各版本探针得分.png" alt="9 个探针在 v2、v3、v4 三个版本上的得分对比" width="88%"/>
+  <p><strong>图 6</strong> 9 个探针在 v2、v3、v4 上的得分</p>
 </div>
 
-再看 `mutant_clamp_negative` 和 `mutant_truncate`,它们都只丢了一条检查的分,得 0.75,丢的正好是对应的那一条。改坏哪里就只有哪里报错,以后看日志就能直接定位问题。
+四轮改下来,可以发现判断事情做得对不对是个精细活。v1 交的是结果,判分却拿另一份数据算期望值;v2 的判分会被作弊骗过;v3 挡不住候选脚本改 reward 文件。这些问题光看文件看不出来,门禁也只能拦住跑不起来、做不出来、白送分这几种情况,剩下的都是探针一个个试出来的。
+
+修复可以人工来校准,也可以交给 Agent。这次我每一轮只把检查输出贴回去,没解释原因,Agent 都自己找到了问题。不过它说“验证过了”的那一次,我还是自己跑了一遍。
 
-### 看看结果
+### 让真实的 Agent 来做
 
-运行 `harbor view jobs` 会打开一个网页,可以一步步看轨迹、verifier 的输出和 artifacts:
+探针都判对以后,就可以让真实的 Agent 来做这道题了。我用的还是 Codex 和 gpt-6-luna:
+
+```bash
+harbor run -p expense-summary/v4 -a codex -m openai/gpt-6-luna --agent-setup-timeout-multiplier 4
+```
+
+这一步要用你自己的 API key,或者 Codex 的登录凭证。Harbor 会先在任务容器里装好 Codex,再让它做题。安装默认限时 360 秒,我这边网络慢,前几次都没走到做题这一步,有一次是代理返回 502,有一次是安装超时,所以加了 `--agent-setup-timeout-multiplier`。这几次 Harbor 都记成了异常,而不是 Agent 得了 0 分,第七节会讲为什么要这样区分。
+
+后来跑通了,拿到 1 分。这次的 job 放在配套代码的 `sample-jobs/` 里,去掉了日志和带本机路径、账号信息的文件,轨迹里 Codex 自带的系统提示词也省略了。剩下的结构是这样:
+
+```text
+sample-jobs/codex-luna-v4/
+├── config.json              # 这次 job 的配置:任务、Agent、模型
+├── result.json              # 汇总结果
+└── v4__8M3PRNU/             # 一个 trial
+    ├── config.json
+    ├── result.json          # reward、各阶段耗时、token 数
+    ├── agent/
+    │   ├── trajectory.json  # 轨迹,Harbor 统一的 ATIF 格式
+    │   └── codex.txt        # Codex 自己的输出
+    ├── artifacts/app/       # 声明为 artifacts 的三个文件
+    └── verifier/
+        ├── reward.txt
+        └── test-stdout.txt
+```
+
+运行 `harbor view sample-jobs` 会打开一个网页,点进这个 trial,最上面是这样的:
 
 <div align="center">
-  <img src="./images/Extra14-figures/web-harbor-viewer-verifier.png" alt="Harbor 结果查看页面的 Verifier 标签页" width="88%"/>
-  <p><strong>图 6</strong> Harbor 的结果查看页面。图片来源:<a href="https://github.com/harbor-framework/harbor">Harbor 文档</a>(Apache-2.0 许可证),有裁剪</p>
+  <img src="./images/Extra14-figures/09-真实运行的trial页面.png" alt="Codex 加 gpt-6-luna 做报销任务的 trial 页面,显示 reward、token 和各阶段耗时" width="92%"/>
+  <p><strong>图 7</strong> 这次运行的 trial 页面</p>
 </div>
 
-想换成真实的 Agent,改一下 `-a` 和 `-m` 就行。这一步要用你自己的 API key,本篇没有跑:
+先看耗时。整个 trial 用了 4 分 8 秒,其中装 Codex 花了 3 分 22 秒,Agent 真正做题只用了 38 秒,判分 5 秒。token 一共 5.8 万左右,几乎都是输入,而且大部分命中了缓存,输出只有 813 个。
 
-```bash
-harbor run -p tasks/order-stats-v2 -a claude-code -m <模型名>
+再看轨迹。`trajectory.json` 里一共 10 步:前 4 步是 Codex 自带的系统提示词,第 5 步是工作目录、shell、日期这些环境信息,第 6 步才是我们的 `instruction.md`。Agent 自己只走了 4 步。它先用 `rg --files` 看工作目录,只找到一个 `input.csv`;再把它 `cat` 出来确认表头;然后用一条命令写出 `summarize.py`,拿示例数据跑一遍,把两个结果文件打印出来看;最后汇报做了什么。
+
+它写的脚本用 `csv.DictReader` 读表,先检查表头,金额用 `Decimal` 累加,筛选条件是严格大于 500,这些都和题面对得上。示例数据里正好有 500.00 和 500.01 两条,它的结果挑出了 500.01、没挑 500.00,边界是对的。不过它没有自己造别的数据去测,比如整数金额,跑完示例就交了。
+
+翻轨迹时,也顺便看看它有没有碰不该碰的地方。这次它基本只在 `/app` 里活动,唯一往外看的是一条 `find .. -name AGENTS.md`,这是 Codex 找项目说明文件的习惯动作。
+
+判分是在另一个容器里做的。verifier 拿到 artifacts 里的 `summarize.py`,用隐藏数据以 `nobody` 用户跑了一遍,`test-stdout.txt` 里只有一行:
+
+```text
+Outputs meet the task requirements.
 ```
 
+`reward.txt` 里是 1。日志里没有期望值,这是 prompt 里要求过的。
+
+这道题 luna 一次就做对了,但一次运行说明不了难度。要放进训练,得多跑几次、多换几个模型,看通过率落在哪里,这是第六节要讲的。
+
 ---
 
-## 第五节:Verifier 怎么才算靠谱
+## 第四节:Verifier 怎么才算靠谱
 
 上一节用的探针,可以归成四道检查,我建议每个任务都过一遍:
 
-| 检查 | 期望 | 抓的是什么 |
+| 检查 | 期望 | 可能的潜在问题 |
 | --- | --- | --- |
 | 参考解 | 满分 | 题目做不出来,或者 verifier 写错了 |
 | 空解 | 不得分 | 白送的分数 |
@@ -342,13 +420,13 @@ harbor run -p tasks/order-stats-v2 -a claude-code -m <模型名>
 
 很多流程只做前两道。可参考解满分,只说明至少有一条路走得通;空解 0 分,只说明躺平拿不到分。要知道 verifier 判得准不准,还得靠后两道。
 
-下面几个都是我们真实碰到过的情况。
+报销任务的判分只有 0 和 1 两档,单点改坏的探针只能看到分数掉到 0,看不出是哪条检查报的错。如果判分按条给分,改坏哪里就只有哪条扣分,看日志就能直接定位问题。
 
-### 空解为什么能拿分
+### 空解可以拿分
 
-第一节是测试写错了,还有一种情况更常见:测试本身没错,比如检查基线文件还在、网络隔离生效,可它们通过了也会加分,结果空解也能拿到一部分分数。
+报销任务没出这个问题,但它很常见。比如有些测试本身没错,像检查基线文件还在、网络隔离生效,可它们通过了也会加分,结果空解也能拿到一部分分数。
 
-当时讨论下来定了一条规则:这类检查通过不得分,不通过扣分。写成代码,就是把它们当成前置条件:
+我们的经验是,把这类检查当成前置条件:通过了不加分,没通过直接判 0 分。写成代码是这样:
 
 ```python
 # 不好:环境检查和功能检查一起算分
@@ -363,154 +441,57 @@ else:
     reward = sum(c() for c in feature_checks) / len(feature_checks)
 ```
 
-有两点要小心。一是别为了让空解变成 0 分就去删功能测试,那只是把问题藏起来了。二是判分脚本要把每条检查的结果都打出来,不然空解拿了分,你都不知道是哪一条给的。
-
-### 别信 Agent 能改的东西
-
-有一次审查一个任务,发现 verifier 明明准备了一份只读的测试数据,读的却是 Agent 工作目录里的那份。理论上,Agent 删掉一个空目录,就能多拿两条测试的分。
-
-顺着这个任务查下去,又翻出几处同类问题。verifier 用 pytest 跑测试,可 Agent 在工作目录里放一个 `pytest.py` 或 `sitecustomize.py`,就能把 pytest 劫持掉。测试报告缺失时,脚本会根据退出码推断成通过。用来对比的快照,是 Agent 跑完以后才拍的。
-
-修法都差不多:判分只用 `tests/` 里的数据;在干净的容器里跑,或者至少加上 `python -I`;报告缺失一律按失败处理;快照提前生成好,和测试放在一起。这些问题指向的是同一件事:Agent 能写的地方,都不能拿来当证据。
-
-这个任务后来还引出了一处流程上的改动。审查报告一开始把它和其他误判放在一起,算成了分数虚高,可我们回头翻轨迹,没有一个 Agent 真的这么干过。从那以后,我们要求审查报告分开写两类问题:已经发生的误判,和理论上能被利用的漏洞。漏洞照样要修,但不能和真实的误判混在一起统计。
-
-### 其他几次翻车
-
-有个 verifier 判错时会打印 `expected X but got Y`,调试的时候确实方便。可只要 Agent 能调用到它,就能随便交一个答案,再从报错里把正确值一项项读出来。现在我们的报错只说哪一项不对,不写期望值。
-
-生成任务时留下的中间文件也出过事。有一份自动生成的清单,里面列着标准名称和关键数值,被一起打包进了任务目录,等于把答案摆在了桌上。从那以后,打包前都要专门扫一遍。Agent 能读到的东西,就当它是公开的。
-
-还有一次,任务写明 reward 是规则分和 judge 分各占一半。规则分是 0,judge 分很高,最终分数却和 judge 分一模一样,原来是聚合代码把 0 分那一项丢掉了。现在写分数时,都会顺手断言它等于声明的公式。
-
-有道题要求输入超长数字时报错。候选代码确实报错了,但报的是另一个毫不相关的错误,测试只检查有没有报错,于是判了通过。断言最好具体到错误的原因。
-
-反过来,verifier 太严也很常见,比如只认一种合法的执行顺序,或者要求题面里根本没提的字段。这时候要么把要求写进题面,要么放宽判断。
+有两点要小心。一是别为了让空解变成 0 分就去删功能测试,那只是把问题藏起来了。二是判分脚本要把每条检查的结果都打出来,更方便得到计分明细。
 
 ### Rule 和 Judge 怎么分工
 
-有些东西代码判不了,比如一份报告写得好不好,这时会请 LLM 当 judge。我们的原则是,代码能判的就不交给 LLM。
-
-两种分数怎么合起来,我们也争论过。规则检查只过了一小部分,judge 却给了高分,直接取平均,分数就被抬上去了。当时有人说得很直接:如果规则和 judge 判的是同一件事,留一个就够了;如果判的是不同的事,就该各自定权重,而不是简单平均。现在比较常见的做法是先过硬门槛,门槛没过就不看 judge,judge 不能把没过的事实补回来。当然 judge 也不是摆设,它确实帮我们抓到过规则漏判的问题。
-
-另外,只看最终结果有时候不够。[PAE](https://arxiv.org/abs/2603.03116) 论文分析了 tau-bench 上报告的成功案例,发现其中有 27–78% 在过程中违反了规则,只是最终状态碰巧对了,论文管这叫 corrupt success。加上过程门槛以后,模型排名都跟着变了。如果你的场景很看重过程,比如客服、金融,高风险的违规最好直接判失败,只扣几分是不够的。
+Rule 通常用来判代码可以验证的内容,比如数值对不对、文件在不在、格式合不合要求。Judge 用来判主观的内容,比如一份报告写得好不好、语气合不合适,这时会让 LLM 来打分。
 
 任务复杂起来以后,也可以直接用 Harbor 提供的 [Rewardkit](https://github.com/harbor-framework/harbor/tree/main/docs-mintlify/rewardkit),常见的判分条件和 LLM judge 都有现成的。
 
 ---
 
-## 第六节:怎么批量合成环境
-
-训练要的环境又多又杂,一个个手写根本跟不上,所以要合成。
-
-### 流水线长什么样
+## 第五节:Reward hacking
 
-不同领域的做法差别不小,但骨架大体一样:
+第三节 v2 的两个作弊探针,在 RL 里有个专门的名字,叫 reward hacking:模型找到了一条拿分的捷径,分数上去了,事情却没做成。
 
-<div align="center">
-  <img src="./images/Extra14-figures/05-批量合成流水线.png" alt="批量合成环境的十步流水线,用颜色区分确定性程序、LLM 和人工判断" width="88%"/>
-  <p><strong>图 7</strong> 批量合成环境的通用流水线</p>
-</div>
-
-图里用颜色区分了三种步骤。出题可以放手交给 LLM,判断这道题合不合格,则尽量交给确定性的程序,最后再加上独立审查和人工把关。
-
-学术界有两篇工作和这个思路很接近。
-
-[Agent-World](https://arxiv.org/abs/2604.18292) 从真实主题出发,先挖掘数据库,生成并验证工具,再合成可验证的任务。任务合成它用了两种办法:graph-based 先得到一条合法的工具调用序列,再反推出用户的问题;programmatic 直接写解题代码,用来覆盖条件分支、循环这类线性序列表达不了的逻辑。
-
-<div align="center">
-  <img src="./images/Extra14-figures/paper-agent-world-figure2.png" alt="Agent-World 论文中的环境与任务发现流水线" width="92%"/>
-  <p><strong>图 8</strong> Agent-World 的环境与任务发现流水线。图片引自 <a href="https://arxiv.org/abs/2604.18292">Agent-World 论文</a> Figure 2,版权归原作者所有</p>
-</div>
-
-[EvoEnv](https://arxiv.org/abs/2605.14392) 让模型自己写环境,候选环境要过好几层校验才能进训练池:先是 L1 到 L5 的机械检查,然后是语义审查,再按当前模型校准难度,最后去重。其中 L5 和上一节的四道检查是一个意思:参考答案必须得分,被扰动过的答案、格式错误和类型不对的答案都不能得分,解析过程也不能泄露隐藏答案。
-
-<div align="center">
-  <img src="./images/Extra14-figures/paper-evoenv-figure1.png" alt="EvoEnv 论文中的环境合成与准入流程总览" width="92%"/>
-  <p><strong>图 9</strong> EvoEnv 总览,第 4 步是准入校验。图片引自 <a href="https://arxiv.org/abs/2605.14392">EvoEnv 论文</a> Figure 1(CC BY-NC-ND 4.0)</p>
-</div>
-
-### 跑一个最小的合成脚本
-
-配套的 `synth/synthesize.py` 搭了这条流水线的骨架。真实的流水线里,写任务包这一步通常交给 LLM,这里我用模板代替了,这样不需要 API key,可以把注意力放在门禁上。
-
-每个种子描述一种业务规则,长这样:
-
-```json
-{"id": "refund", "event": "refund", "meaning": "退款,应从总额中扣除", "multiplier": -1}
-```
+这个问题比大模型出现得早得多。OpenAI 在 2016 年讲过一个[赛艇游戏的例子](https://openai.com/index/faulty-reward-functions/):游戏按沿途撞到的目标计分,训练出来的 Agent 没有去跑完比赛,而是找到一片小水湾,在里面绕圈,每次都赶在目标刷新时把它们撞掉,得分比正常跑完还高。
 
-我故意在里面混了 3 个有问题的种子,然后运行:
+换成会读写文件、会跑命令的 Agent,能钻的空子就更多了。OpenAI 的一篇[论文](https://arxiv.org/abs/2503.11926)记录了推理模型在编程环境里训练时的各种做法:调用 `exit(0)` 让测试提前退出,抛出 `SkipTest` 跳过测试,直接改单元测试,从环境里残留的 jar 包反编译出参考实现,自己写一个假的 pandas 来骗过检查。其中前两招影响了几乎所有训练环境。
 
-```bash
-python3 synth/synthesize.py synth/seeds.json
-```
-
-```text
-seed          static  dedup  oracle  nop   shortcut  decision
-refund        ok      ok     1.00    0.00  0.00      accept
-cancelled     ok      ok     1.00    0.00  0.00      accept
-promo         ok      ok     1.00    0.00  0.00      accept
-voided        ok      dup    -       -     -         reject: same behavior as cancelled
-no-bug        ok      ok     1.00    1.00  -         reject: doing nothing scores
-bad-solution  ok      ok     0.00    -     -         reject: reference solution fails
-```
+评测时碰到这种漏洞,顶多是分数虚高。训练时就严重得多:只要某条捷径能拿到 reward,模型就会被一遍遍往那里推,最后学会的是钻空子,而不是把事做好。所以写环境时,要默认 Agent 会去试每一条能拿分的路。
 
-三个问题种子都被拦了下来。`voided` 只是换了个说法,行为和 `cancelled` 完全一样,算重复;`no-bug` 本身没有 bug,空解直接满分;`bad-solution` 的参考解和判分标准对不上。
+### 我们碰到过的几种
 
-还有个细节:隐藏用例的答案是 `gold()` 函数算出来的,不是作者手写的。能用程序算答案的地方,我们都尽量这么做。
+回头看,笔者碰到过的情况大致有三类。
 
-### 修着修着,题目变了
+第一类是改判分要用的东西。v2 的 `shortcut_rewrite_input` 就是这样:判分程序把隐藏数据交给候选脚本,跑完再读同一份文件算期望值,脚本改掉文件,期望值也就跟着变了。别的任务里也有类似的情况。有个 verifier 明明准备了一份只读的测试数据,读的却是 Agent 工作目录里那份,删掉一个空目录就能多拿两条测试的分;还有个任务用来对比的快照,是 Agent 跑完以后才拍的。这类问题的修法是判分只用 `tests/` 里的数据,期望值和快照都在 Agent 动手之前准备好。
 
-这是我们印象最深的一个坑。
+第二类是对判分程序本身下手。v2 的 `shortcut_kill_grader` 往 reward 文件里写 1,再结束判分进程,和上面论文里的 `exit(0)` 是一个路数。还有用 pytest 判分的任务,Agent 只要在工作目录里放一个 `pytest.py` 或 `sitecustomize.py`,就能把 pytest 劫持掉;测试报告缺失时,判分脚本还会根据退出码推断成通过。这一类要靠隔离来挡:在干净的容器里判分,或者至少用 `python -I` 运行,不让工作目录里的文件混进来;报告缺失一律按失败处理;要运行 Agent 的代码,就像 v4 那样换成低权限用户。
 
-任务生成以后,如果 oracle 没过,流程会让 Agent 自动修。当时我们给修复定的目标是让 reward 变成 1,能改的范围也没限制好,提示里甚至写着“按参考解实际的行为来写测试”。再加上任务、参考解和测试本来就出自同一个 Agent,修到最后,分数是上去了,测试测的却是参考解碰巧做了什么,而不是题面要求了什么。
+第三类是偷看答案。有个 verifier 判错时会打印 `expected X but got Y`,调试的时候确实方便,可只要 Agent 能调用到它,随便交一个答案,就能从报错里把正确值一项项读出来。
 
-后来我们把 `instruction.md` 定为判分的唯一依据,因为 Agent 能看到的只有题面。生成流程里原本还有一份“合同文档”也被当成依据,后来也降了级:它同样是我们自己生成的,不能比题面说了算。修复也改了规矩,目标不再是分数,修之前必须先读题面,能改哪些文件也写死了。
+三类问题本质是一样的:判分程序相信了 Agent 碰得到的东西,所以做好隔离很重要。我们现在的习惯是,Agent 能写的地方不拿来当证据,Agent 能读到的东西都当成公开的。
 
-### 参考解走了捷径
+### 写环境的 Agent 也会钻空子
 
-oracle 通过,只能说明参考解那条路走得通。如果参考解走的是一条 Agent 根本没有的捷径,这个证明就没什么意义了。
+用 Agent 合成环境时,钻空子的不只是做题的那个。
 
-我们碰到过好几次:
-
-- GUI 任务的参考解直接调应用的 API,全部通过了,却证明不了点界面能不能做到
-- 多服务任务的参考解直接访问后端,绕开了 Agent 实际要用的工具
-- 策略对话任务的参考解直接注入标准动作,没读过知识库。等真实的 Agent 跑起来才发现,知识库里写的日期格式和标准答案根本不一样,还有些枚举值文档里压根没写
-
-所以现在我们要求参考解只能走 Agent 能走的路。知识类的任务还要多问一句:一个老老实实读文档的 Agent,能不能推出标准答案?
-
-### 其他几条经验
-
-自动修复这件事,我们还交过一笔学费。一开始没设上限,一轮轮修下去,越往后能救回来的任务越少,测试却越写越长。回头审查发现,不少修复只是往测试里多塞了几个关键词。作者 Agent 自己报告“已修好”也靠不住,拿去给独立审查一看,大部分都被打了回来。现在最多修一次,修不好就退回去重新设计。真要修,就换个证据来源,比如找一个独立的期望值,或者补上正确变体和单点改坏这两类反例。
-
-去重要按决定任务的东西来比。两个种子说法不同、行为一样,就是同一道题,文本相似度只能当个线索。另外,别让出题的 Agent 读到已有的任务和答案,它会照着抄。
-
-环境本身也会出问题。有一批任务在本地 Docker 里参考解全部通过,换到目标沙箱后挂了一片,原因五花八门:代理没生效、证书不被信任、内核接口不一样。mock 服务也是,我们一开始只拿正常路径上的 GET 请求和真实 API 比,字段看起来完全一致,后来把错误码、其他 HTTP 方法、写操作和完整的创建删除流程都加进来,才发现差异其实不少。
-
-最后用一张表汇总一下,不同类型的环境通常怎么判分,最容易踩什么坑:
-
-| 环境类型 | 通常怎么判分 | 最容易踩的坑 |
-| --- | --- | --- |
-| 终端、代码 | 跑测试,检查最终状态 | 测试太松,或者只认一种写法 |
-| 多服务 mock | 比较服务状态的变化 | mock 和真实 API 行为不一致 |
-| 办公文档 | 规则检查加 LLM 评审 | 为了迁就结果去调权重 |
-| GUI、Web | 检查产物,再到界面里复核 | 参考解走 API,证明不了界面能操作 |
-| 策略对话 | 回放参考动作,比较数据库状态 | 知识库里其实查不到标准答案 |
+任务生成以后,如果 oracle 没过,我们会让 Agent 自动修。最早给修复定的目标就是让 reward 变成 1,能改的范围也没限制好,提示里甚至写着“按参考解实际的行为来写测试”。任务、参考解和测试又都出自同一个 Agent,修到最后,分数是上去了,测试测的却是参考解碰巧做了什么,而不是题面要求了什么。这和做题时的 reward hacking 是一回事,只不过被优化的变成了出题的 Agent。
 
 ---
 
-## 第七节:难度与公平
+## 第六节:难度与公平
 
 环境能判对错以后,还要看它有没有用。所有模型都满分,或者都是 0 分,这个环境就给不出任何信号。
 
 EvoEnv 的准入条件很直接:当前模型的通过率必须在 0 和 1 之间。它把目标通过率定在 0.3 左右,让模型既能拿到一些正反馈,又还有提升空间。0.3 是那篇论文的设定,不必照搬。
 
-但比难度更要紧的是公平:
+公平也同样重要:
 
 <div align="center">
   <img src="./images/Extra14-figures/06-难度与公平四象限.png" alt="按是否公平和是否有区分度划分的四个象限" width="88%"/>
-  <p><strong>图 10</strong> 难度与公平的四种情况</p>
+  <p><strong>图 8</strong> 难度与公平的四种情况</p>
 </div>
 
 提难度有正当的做法,也有不该用的做法:
@@ -523,23 +504,9 @@ EvoEnv 的准入条件很直接:当前模型的通过率必须在 0 和 1 之
 | 多个来源相互冲突,题面写明谁说了算 | 依赖不可达的工具、随机的网络失败 |
 | 全局约束,让贪心解法行不通 | 看着某个模型的代码来针对性出题 |
 
-下面这几种情况,是我们审查时反复碰到的。文中说的强模型、弱模型只是相对而言。
-
-最容易搞混的是修 bug 和提难度。有个任务,强模型和弱模型都只差同一条检查,这条检查卡的是代码写法,我们把它换成了行为检查。这个修复是对的,可两个模型都会因此通过,难度一点没变。这两件事要分开记,不然你会误以为题目变难了。
-
-还有一种情况更隐蔽:区分度是假的。有个任务,弱模型分数明显偏低,看起来区分得很好,逐条看失败才发现全是 verifier 误判,其中一条匹配规则连题面自己的说法都不认。修好以后,这个任务就不达标了。结果不好看,但这才是真实情况。
-
-有时候会很想删测试。强模型只因为一条测试没拿满分,删掉它就达标了,这很诱人。可要是这条测试考的正是题面的核心要求,删掉就不公平。两个模型犯的是同一个核心错误时,也没法只给其中一个放宽。
-
-反过来,在公开要求之内加强是可以的。如果弱模型也全过了,可以拿它的产物和题面逐条对,找真实的缺口。比如题面写了取整规则,测试却没覆盖刚好落在中点的值,那就补一个,补完记得让参考解也重新跑一遍。要是公开要求里实在找不到缺口,就老实承认这题公平但没有区分度,别去硬加隐藏要求。
-
-有一阵子,我们有一批任务怎么调难度都没用。逐个审查下来,主要原因不在 verifier:任务在生成时把真实系统的复杂度压缩掉了,或者丢掉了种子原本难的地方,有的甚至直接在任务里透露了问题的根因。这种时候再调 verifier 也没用,得回到种子和环境上。一个本来就简单的种子,怎么包装也变不难,不如直接换掉。
-
-最后,数字再漂亮,也得先看证据干不干净。有一次弱模型全部失败、强模型能通过,数字非常理想,后来却发现环境里留着修复用的脚手架,轨迹早就被污染了。环境修好以后,旧轨迹一条都不能用,只能重跑。
-
 ---
 
-## 第八节:接到评测和训练
+## 第七节:接到评测和训练
 
 任务写好了,就要批量跑起来。这一步有三件事容易出错。
 
@@ -551,7 +518,7 @@ Harbor 用 `reward_valid` 来区分:
 
 <div align="center">
   <img src="./images/Extra14-figures/web-harbor-error-classification.png" alt="Harbor 判断 reward 是否有效的决策流程图" width="72%"/>
-  <p><strong>图 11</strong> Harbor 如何判断 reward 是否有效。图片来源:<a href="https://github.com/harbor-framework/harbor/blob/main/docs-mintlify/jobs/error-classification.mdx">Harbor 文档</a>(Apache-2.0 许可证)</p>
+  <p><strong>图 9</strong> Harbor 如何判断 reward 是否有效。图片来源:<a href="https://github.com/harbor-framework/harbor/blob/main/docs-mintlify/jobs/error-classification.mdx">Harbor 文档</a></p>
 </div>
 
 | 情况 | 例子 | 是否判分 | reward 是否有效 |
@@ -560,32 +527,31 @@ Harbor 用 `reward_valid` 来区分:
 | 环境没起来 | 沙箱构建失败、健康检查失败 | 不判 | 无效 |
 | 模型服务出问题 | API 限流、连接中断 | 判 | 无效 |
 
-注意第一行:0 分也可以是有效的信号。
-
-如果这套分类是你自己做的,两个方向都可能出错。我们碰到过 mock 服务不健康,被当成偶发故障一次次重跑,直到好几个任务接连失败,才怀疑到镜像本身。也碰到过反过来的情况:明明是任务格式写错了,却被归成可以重跑的基础设施问题。所以分类逻辑本身也要测,而且两个方向都要测。
-
 ### 回放还是重跑
 
-改了任务以后,旧分数还能不能用,要看改的是什么:
+环境很多时候需要迭代好几轮,就像第三节的报销任务前后改了四版。每改一次,旧分数还能不能用,要看改的是什么:
 
 <div align="center">
   <img src="./images/Extra14-figures/07-回放还是重跑.png" alt="根据修改内容决定回放还是重跑的决策树" width="88%"/>
-  <p><strong>图 12</strong> 改完任务后,回放还是重跑</p>
+  <p><strong>图 10</strong> 改完任务后,回放还是重跑</p>
 </div>
 
-只改 verifier 时可以回放。我实际试了一次:故意把 v2 的一个期望值写错,参考解只拿到 0.75;改回来以后用旧结果回放,没有重跑 Agent,分数就更新了:
+只改 verifier 时可以回放。报销任务从 v2 到 v3 只改了 `tests/`,正好拿来演示。先在 v2 上跑一次改写输入的作弊解法,拿到 1 分;再用 v3 的判分去回放这次运行,Agent 不用重跑:
 
 ```bash
-harbor job regrade jobs/<job目录> -p tasks/order-stats-v2
+cp -R expense-summary/v2 /tmp/v2-cheat
+cp probes/shortcut_rewrite_input.sh /tmp/v2-cheat/solution/solve.sh
+harbor run -p /tmp/v2-cheat -a oracle -o jobs           # 得 1 分
+harbor job regrade jobs/<job目录> -p expense-summary/v3
 ```
 
 ```text
-Regrade delta over 1 trial(s): 1 changed (1 up, 0 down), mean reward 0.750 → 1.000
+Regrade delta over 1 trial(s): 1 changed (0 up, 1 down), mean reward 1.000 → 0.000
 ```
 
-回放的前提是 separate verifier 加上 artifacts,verifier 需要的文件当初都得收集下来。这件事要在跑之前就想好,老数据事后是补不回来的。
+回放的前提是 separate verifier 加上 artifacts,verifier 需要的文件当初都得收集下来。报销任务把 `summarize.py` 声明成了 artifact,v3 的判分才能拿到它重新跑。
 
-改了 Agent 能看到的东西,就得让所有模型都在新版本上重跑。只重跑其中一个模型,或者把不同版本的分数放进同一张表里比,都不公平。也别把历史运行里通过的结果拼进当前成绩,那样的分数不对应任何一次真实的运行。
+改了 Agent 能看到的东西,就得让所有模型都在新版本上重跑。只重跑其中一个模型,或者把不同版本的分数放进同一张表里比,都不公平。
 
 ### 接到训练框架
 
@@ -593,75 +559,13 @@ Regrade delta over 1 trial(s): 1 changed (1 up, 0 down), mean reward 0.750 → 1
 
 <div align="center">
   <img src="./images/Extra14-figures/web-skyrl-system-overview.png" alt="SkyRL 系统架构图,Environment 为 Generator 提供观测和奖励" width="80%"/>
-  <p><strong>图 13</strong> 环境在训练系统里的位置:右下角的 Environment 提供观测和奖励。图片来源:<a href="https://github.com/NovaSky-AI/SkyRL">SkyRL 文档</a>(Apache-2.0 许可证)</p>
+  <p><strong>图 11</strong> 环境在训练系统里的位置:右下角的 Environment 提供观测和奖励。图片来源:<a href="https://github.com/NovaSky-AI/SkyRL">SkyRL 文档</a></p>
 </div>
 
 训练本身这里就不展开了,可以接着看[第十一章](../docs/chapter11/第十一章%20Agentic-RL.md)和 [Extra12 旅行助手后训练实战](./Extra12-旅行助手后训练实战.md)。
 
 ---
 
-## 这次留下来的经验
-
-整理下来,我最想说的一点是:写环境时,大部分精力应该花在 verifier 上,题目本身反而是比较容易的部分。
-
-落到做法上,大概是下面几条:
-
-1. 任务写完先跑参考解和空解,一个要满分,一个要 0 分。
-2. 再补上正确变体和单点改坏,看 verifier 判得准不准。
-3. Agent 能写的地方不能当证据,Agent 能读的地方都当成公开内容。
-4. 判分以题面为准。要求可以严,但题面里得写清楚。
-5. 出题可以交给 LLM,判卷尽量交给程序。
-6. 自动修复要设上限,修复的目标不能是分数。
-7. 想提难度,先确认公平。
-8. 只改了 verifier 就回放,改了 Agent 能看到的东西就全部重跑。
-
-reward 就是模型要学的目标。它判错了,模型会照着错的方向认真学下去,这也是这篇大半篇幅都在讲 verifier 的原因。
-
----
-
-## 上线前检查清单
-
-**任务本身**
-
-- [ ] 题面写清了输入、输出和判断标准,判分用到的要求都能在题面找到
-- [ ] 参考解走的是 Agent 能走的路
-- [ ] 同样的任务多跑几次,初始状态和判分结果一致
-
-**判分**
-
-- [ ] 参考解满分,空解不得分
-- [ ] 另一种正确写法也能满分
-- [ ] 单点改坏时,只有对应的检查失败
-- [ ] 每条计分的检查都真正运行了候选代码
-- [ ] 判分数据不在 Agent 能修改的地方
-- [ ] 报错和日志不包含期望值
-- [ ] 最终分数和声明的公式一致
-
-**隔离和打包**
-
-- [ ] 使用 separate verifier,并声明了判分需要的 artifacts
-- [ ] 答案、参考解、内部笔记都不在 Agent 能读到的地方
-- [ ] `harbor lint` 没有报错
-
-**批量运行**
-
-- [ ] 基础设施失败不计入 reward
-- [ ] 失败都审查过原因,确认是能力差距,而不是误判或环境问题
-- [ ] 同一张对比表里的分数都来自同一个任务版本
-
----
-
-## 后面还会补的内容
-
-这一版先写到这里,下面几块后面再补:
-
-- 把 HelloAgents 接入 Harbor,用真实模型跑一遍配套任务
-- 真正用 LLM 生成任务包时,prompt 怎么设计,质量差别有多大
-- 多服务 mock、GUI 这类复杂环境的完整搭建过程
-- Rewardkit 和 LLM judge 的详细用法
-
----
-
 ## 参考资料与图片来源
 
 **项目与文档**
@@ -675,18 +579,20 @@ reward 就是模型要学的目标。它判错了,模型会照着错的方向
 **论文**
 
 - [Learning to Build the Environment: Self-Evolving Reasoning RL via Verifiable Environment Synthesis](https://arxiv.org/abs/2605.14392)(EvoEnv)
-- [Agent-World: Scaling Real-World Environment Synthesis for Evolving General Agent Intelligence](https://arxiv.org/abs/2604.18292)
-- [Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation](https://arxiv.org/abs/2603.03116)(PAE)
+- [Concrete Problems in AI Safety](https://arxiv.org/abs/1606.06565)
+- [Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation](https://arxiv.org/abs/2503.11926)
+
+**文章**
+
+- [Faulty Reward Functions in the Wild](https://openai.com/index/faulty-reward-functions/)(OpenAI,2016)
+- [Reward Hacking in Reinforcement Learning](https://lilianweng.github.io/posts/2024-11-28-reward-hacking/)(Lilian Weng,2024),对 reward hacking 的系统梳理
 
 **图片来源**
 
-图 2、3、4、5、7、10、12 为本文原创。其余图片的来源如下,版权归原作者所有:
+图 2、3、4、5、6、8、10 为本文原创,图 7 是本文运行结果在 Harbor 查看页面里的截图。其余图片的来源如下,版权归原作者所有:
 
 | 图 | 来源 | 许可 |
 | --- | --- | --- |
 | 图 1 | [Gymnasium 文档](https://github.com/Farama-Foundation/Gymnasium) | MIT |
-| 图 6 | [Harbor 文档](https://github.com/harbor-framework/harbor),有裁剪 | Apache-2.0 |
-| 图 8 | [Agent-World 论文](https://arxiv.org/abs/2604.18292) Figure 2 | 学术引用 |
-| 图 9 | [EvoEnv 论文](https://arxiv.org/abs/2605.14392) Figure 1 | CC BY-NC-ND 4.0 |
-| 图 11 | [Harbor 文档](https://github.com/harbor-framework/harbor/blob/main/docs-mintlify/jobs/error-classification.mdx) | Apache-2.0 |
-| 图 13 | [SkyRL 文档](https://github.com/NovaSky-AI/SkyRL) | Apache-2.0 |
+| 图 9 | [Harbor 文档](https://github.com/harbor-framework/harbor/blob/main/docs-mintlify/jobs/error-classification.mdx) | Apache-2.0 |
+| 图 11 | [SkyRL 文档](https://github.com/NovaSky-AI/SkyRL) | Apache-2.0 |

BIN
Extra-Chapter/images/Extra14-figures/04-两版Verifier实测对比.png


BIN
Extra-Chapter/images/Extra14-figures/04-各版本探针得分.png


BIN
Extra-Chapter/images/Extra14-figures/05-批量合成流水线.png


BIN
Extra-Chapter/images/Extra14-figures/08-四轮迭代.png


BIN
Extra-Chapter/images/Extra14-figures/09-真实运行的trial页面.png


BIN
Extra-Chapter/images/Extra14-figures/paper-agent-world-figure2.png


BIN
Extra-Chapter/images/Extra14-figures/paper-evoenv-figure1.png


BIN
Extra-Chapter/images/Extra14-figures/web-harbor-viewer-verifier.png


+ 1 - 1
README.md

@@ -94,7 +94,7 @@
 | [11-WebAgent科普与实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra11-WebAgent科普与实战.md) | Web Agent 原理、反爬实战与 HelloAgents 集成 |
 | [12-旅行助手后训练实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra12-旅行助手后训练实战.md) | 把旅行助手 Demo 打磨成能用的 Planner |
 | [13-Hello-Agents视频课录制共创](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra13-Hello-Agents视频课录制共创.md) | 视频课程共创录制资源 |
-| [14-Agent RL环境入门与合成实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) | Agent RL 环境概念、Harbor 实战与批量合成 |
+| [14-Agent RL环境入门与合成实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) | Agent RL 环境概念、Harbor 实战、用 Agent 合成任务与 reward hacking |
 
 ### PDF 版本下载
 

+ 1 - 1
README_EN.md

@@ -94,7 +94,7 @@ If you wish to read locally or contribute content, please refer to the learning
 | [11-Web Agent: Principles and Practice](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra11-WebAgent科普与实战.md) | Web Agent principles, anti-bot practice, and HelloAgents integration |
 | [12-Trip Planner Post-Training in Practice](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra12-旅行助手后训练实战.md) | Turning a trip-planner demo into a usable planner |
 | [13-Hello-Agents Video Course Co-creation](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra13-Hello-Agents视频课录制共创.md) | Video course co-creation recording resources |
-| [14-Agent RL Environments: Basics and Synthesis](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) | Agent RL environment concepts, Harbor hands-on, and batch synthesis |
+| [14-Agent RL Environments: Basics and Synthesis](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) | Agent RL environment concepts, Harbor hands-on, agent-driven task synthesis, and reward hacking |
 
 ### PDF Version Download
 

+ 0 - 1
code/extra14_rl_env/.gitignore

@@ -1,3 +1,2 @@
 jobs/
-synth/generated/
 __pycache__/

+ 27 - 18
code/extra14_rl_env/README.md

@@ -1,6 +1,6 @@
 # Extra14 配套代码:Agent RL 环境入门
 
-配合 [Extra14](../../Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) 使用。只需要 Docker 和 [Harbor](https://github.com/harbor-framework/harbor),不需要 API key。
+配合 [Extra14](../../Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) 使用。用到 Docker 和 [Harbor](https://github.com/harbor-framework/harbor):
 
 ```bash
 uv tool install harbor
@@ -10,31 +10,40 @@ uv tool install harbor
 
 | 路径 | 说明 |
 | --- | --- |
-| `tasks/order-stats-v1` | 故意写坏的 verifier,空解也能拿分 |
-| `tasks/order-stats-v2` | 修好的版本 |
-| `probes/` | 用来测试 verifier 的各种解法:正确变体、取巧解、单点改坏 |
-| `probe.py` | 用 `oracle` agent 依次运行这些解法,检查 verifier 会不会判错 |
-| `synth/` | 最小合成脚本:从种子生成任务,再逐个过门禁 |
+| `prompt.md` | 让 Agent 把“月底汇总报销明细”做成 Harbor 任务的 prompt,可以直接复制给你的 Agent |
+| `expense-summary/v1` 到 `v4` | Agent 生成的四个版本,v1 是第一次生成,后面每一版是把检查结果交回去修改后的结果 |
+| `expense-summary/feedback-*.md` | 每一轮交回给 Agent 的检查结果原文 |
+| `gate.py` | 门禁:`harbor lint`、参考解要满分、空解要 0 分 |
+| `probe.py` | 探针:用 `oracle` 依次运行 `probes/` 里的解法,检查判分会不会判错 |
+| `probes/` | 针对报销任务写的探针:正确变体、取巧解、单点改坏 |
+| `sample-jobs/` | 用 Codex 和 gpt-6-luna 在 v4 上真实运行一次的结果,可以用 `harbor view sample-jobs` 查看。已去掉日志和带本机路径、账号信息的文件,轨迹里省略了 Codex 自带的系统提示词 |
 
 ## 运行
 
+除了让 Agent 生成任务和让 Agent 真正做题这两步,下面都不需要 API key。
+
 ```bash
-# 跑单个任务
-harbor run -p tasks/order-stats-v1 -a nop
-harbor run -p tasks/order-stats-v1 -a oracle
+# 门禁
+python3 gate.py expense-summary/v1
+python3 gate.py expense-summary/v4
 
-# 静态检查
-harbor lint tasks/order-stats-v1
+# 探针
+python3 probe.py expense-summary/v2
+python3 probe.py expense-summary/v4
 
-# 对比两版 verifier
-python3 probe.py tasks/order-stats-v1
-python3 probe.py tasks/order-stats-v2
+# 只改了判分时,用旧结果回放:v2 上作弊拿到的 1 分,用 v3 的判分回放后变成 0 分
+cp -R expense-summary/v2 /tmp/v2-cheat
+cp probes/shortcut_rewrite_input.sh /tmp/v2-cheat/solution/solve.sh
+harbor run -p /tmp/v2-cheat -a oracle -o jobs
+harbor job regrade jobs/<job目录> -p expense-summary/v3
 
-# 批量合成并过门禁,任务生成在 synth/generated/
-python3 synth/synthesize.py synth/seeds.json
+# 让真实的 Agent 来做(需要 API key 或 Codex 登录凭证)
+harbor run -p expense-summary/v4 -a codex -m openai/gpt-6-luna --agent-setup-timeout-multiplier 4
 
-# 只改 verifier 时,用旧结果回放
-harbor job regrade jobs/<job目录> -p tasks/order-stats-v2
+# 查看附带的运行结果
+harbor view sample-jobs
 ```
 
+v1 在 macOS 的 Docker Desktop 上会因为断网配置跑不起来,这是正文里讲的第一个问题。
+
 已在 Harbor v0.25.0 上验证。

+ 26 - 0
code/extra14_rl_env/expense-summary/feedback-1.md

@@ -0,0 +1,26 @@
+<!-- 第 1 轮反馈:发给 Agent 时,前面先附上 prompt.md 的全文 -->
+
+当前目录里已经有一版任务,但没有通过检查:
+
+gate    expect    result  status
+lint    no error  ok      ok
+oracle  == 1      infra   FAIL
+nop     == 0      infra   FAIL
+
+oracle 没有拿到 reward,Harbor 输出:
+ValueError: network_mode='no-network' is not supported by EnvironmentType.DOCKER environment. Environment providers must enforce the requested network policy or reject the task.
+
+nop 没有拿到 reward,Harbor 输出:
+ValueError: network_mode='no-network' is not supported by EnvironmentType.DOCKER environment. Environment providers must enforce the requested network policy or reject the task.
+
+把 task.toml 里的 network_mode 去掉之后再跑:
+
+gate    expect    result  status
+lint    no error  ok      ok
+oracle  == 1      0.00    FAIL
+nop     == 0      0.00    ok
+
+oracle 得分 0.00,判分脚本输出:
+Summary CSV does not match the required per-person totals.
+
+请修改当前目录里的任务。

+ 21 - 0
code/extra14_rl_env/expense-summary/feedback-2.md

@@ -0,0 +1,21 @@
+<!-- 第 2 轮反馈:发给 Agent 时,前面先附上 prompt.md 的全文 -->
+
+当前目录里已经有一版任务,参考解得 1 分,什么都不做得 0 分。但我们又用几种解法检查了判分,有两种判错了:
+
+probe                   expect  reward  result
+oracle                  == 1    1.00    ok
+nop                     == 0    0.00    ok
+mutant_ge_500           < 1     0.00    ok
+mutant_no_format        < 1     1.00    WRONG
+mutant_sorted_names     < 1     0.00    ok
+shortcut_hardcode       == 0    0.00    ok
+shortcut_rewrite_input  == 0    1.00    WRONG
+variant_float           == 1    1.00    ok
+
+2 probe(s) judged wrongly
+
+判错的两种解法是:
+- mutant_no_format:在参考解基础上,把报销总额的输出从 f"{total:.2f}" 改成 str(total),不再保留两位小数。应该失分,实际得了 1 分。
+- shortcut_rewrite_input:示例数据的两个结果文件手写;/app/summarize.py 被判分调用时,把传进来的输入文件改写成只剩表头,再输出两个只有表头的文件。应该得 0 分,实际得了 1 分。
+
+请修改判分部分(tests/),参考解保持不变。

+ 7 - 0
code/extra14_rl_env/expense-summary/feedback-3.md

@@ -0,0 +1,7 @@
+<!-- 第 3 轮反馈:发给 Agent 时,前面先附上 prompt.md 的全文 -->
+
+当前目录里已经有一版任务,参考解得 1 分,什么都不做得 0 分,我们准备的几种解法也都判对了。但下面这种解法判错了:
+
+- shortcut_kill_grader:示例数据的两个结果文件手写;/app/summarize.py 被判分调用时,先往 /logs/verifier/reward.txt 写入 1,再结束父进程(判分程序)。应该得 0 分,实际得了 1 分。
+
+请修改判分部分(tests/),参考解保持不变。

+ 2 - 1
code/extra14_rl_env/tasks/order-stats-v1/environment/Dockerfile → code/extra14_rl_env/expense-summary/v1/environment/Dockerfile

@@ -1,3 +1,4 @@
 FROM python:3.12-slim
+
 WORKDIR /app
-COPY stats.py orders.csv /app/
+COPY input.csv /app/input.csv

+ 7 - 0
code/extra14_rl_env/expense-summary/v1/environment/input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2026-10-01,张敏,餐饮,120.00
+2026-10-02,李雷,交通,500.00
+2026-10-03,张敏,住宿,680.50
+2026-10-04,王芳,办公,500.01
+2026-10-05,李雷,餐饮,45.25
+2026-10-06,王芳,交通,90

+ 8 - 0
code/extra14_rl_env/expense-summary/v1/instruction.md

@@ -0,0 +1,8 @@
+# 汇总报销明细
+
+请处理 `/app/input.csv` 中的报销明细。文件包含 `日期`、`姓名`、`类别`、`金额` 四列。
+
+在 `/app/` 下生成以下两个 UTF-8 CSV 文件:
+
+1. `summary.csv`:按姓名汇总报销总额,列名为 `姓名`、`报销总额`。每个人只出现一行,按其在输入中首次出现的顺序排列;金额保留两位小数。
+2. `over_500.csv`:列名和列顺序与输入相同,只保留金额严格大于 500 元的原始记录,并按输入中的顺序排列。金额等于 500 元的记录不包含在内。

+ 27 - 0
code/extra14_rl_env/expense-summary/v1/solution/solve.sh

@@ -0,0 +1,27 @@
+#!/bin/sh
+set -eu
+python - <<'PY'
+import csv
+from collections import OrderedDict
+from decimal import Decimal
+
+with open("/app/input.csv", encoding="utf-8-sig", newline="") as source:
+    rows = list(csv.DictReader(source))
+
+totals = OrderedDict()
+for row in rows:
+    totals[row["姓名"]] = totals.get(row["姓名"], Decimal("0")) + Decimal(row["金额"])
+
+with open("/app/summary.csv", "w", encoding="utf-8", newline="") as output:
+    writer = csv.writer(output)
+    writer.writerow(["姓名", "报销总额"])
+    for name, total in totals.items():
+        writer.writerow([name, f"{total:.2f}"])
+
+with open("/app/over_500.csv", "w", encoding="utf-8", newline="") as output:
+    writer = csv.writer(output)
+    writer.writerow(["日期", "姓名", "类别", "金额"])
+    for row in rows:
+        if Decimal(row["金额"]) > Decimal("500"):
+            writer.writerow([row["日期"], row["姓名"], row["类别"], row["金额"]])
+PY

+ 13 - 0
code/extra14_rl_env/expense-summary/v1/task.toml

@@ -0,0 +1,13 @@
+schema_version = "1.4"
+artifacts = ["/app/summary.csv", "/app/over_500.csv"]
+
+[task]
+name = "expense-summary/monthly-reimbursements"
+description = "按人汇总报销金额并筛出超过 500 元的记录"
+
+[environment]
+network_mode = "no-network"
+
+[verifier]
+environment_mode = "separate"
+timeout_sec = 60

+ 4 - 0
code/extra14_rl_env/expense-summary/v1/tests/Dockerfile

@@ -0,0 +1,4 @@
+FROM python:3.12-slim
+
+WORKDIR /tests
+COPY . /tests/

+ 70 - 0
code/extra14_rl_env/expense-summary/v1/tests/grade.py

@@ -0,0 +1,70 @@
+import csv
+import os
+from collections import OrderedDict
+from decimal import Decimal, InvalidOperation
+
+
+INPUT = "/tests/input.csv"
+SUMMARY = "/app/summary.csv"
+FILTERED = "/app/over_500.csv"
+SUMMARY_HEADER = ["姓名", "报销总额"]
+DETAIL_HEADER = ["日期", "姓名", "类别", "金额"]
+
+
+def read_csv(path):
+    with open(path, encoding="utf-8-sig", newline="") as stream:
+        return list(csv.reader(stream))
+
+
+def fail(message):
+    os.makedirs("/logs/verifier", exist_ok=True)
+    with open("/logs/verifier/reward.txt", "w", encoding="utf-8") as reward:
+        reward.write("0\n")
+    print(message)
+    raise SystemExit(0)
+
+
+def main():
+    try:
+        source = read_csv(INPUT)
+        summary = read_csv(SUMMARY)
+        filtered = read_csv(FILTERED)
+    except (OSError, csv.Error):
+        fail("Required CSV output is missing or unreadable.")
+
+    if not source or source[0] != DETAIL_HEADER:
+        fail("Verifier input is invalid.")
+    if summary[:1] != [SUMMARY_HEADER]:
+        fail("Summary CSV header is incorrect.")
+    if filtered[:1] != [DETAIL_HEADER]:
+        fail("Filtered CSV header is incorrect.")
+
+    totals = OrderedDict()
+    expected_filtered = []
+    try:
+        for row in source[1:]:
+            if len(row) != 4:
+                fail("Verifier input is invalid.")
+            date, name, category, raw_amount = row
+            amount = Decimal(raw_amount)
+            totals[name] = totals.get(name, Decimal("0")) + amount
+            if amount > Decimal("500"):
+                expected_filtered.append(row)
+    except InvalidOperation:
+        fail("Verifier input is invalid.")
+
+    expected_summary = [SUMMARY_HEADER]
+    expected_summary.extend([[name, f"{total:.2f}"] for name, total in totals.items()])
+    if summary != expected_summary:
+        fail("Summary CSV does not match the required per-person totals.")
+    if filtered != [DETAIL_HEADER, *expected_filtered]:
+        fail("Filtered CSV does not match the required records.")
+
+    os.makedirs("/logs/verifier", exist_ok=True)
+    with open("/logs/verifier/reward.txt", "w", encoding="utf-8") as reward:
+        reward.write("1\n")
+    print("Outputs meet the task requirements.")
+
+
+if __name__ == "__main__":
+    main()

+ 7 - 0
code/extra14_rl_env/expense-summary/v1/tests/input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2025-01-03,陈晨,交通,500
+2025-01-04,赵宁,餐饮,500.01
+2025-01-05,陈晨,住宿,12.35
+2025-01-06,孙悦,办公,900.10
+2025-01-07,赵宁,交通,0.99
+2025-01-08,孙悦,餐饮,100

+ 3 - 0
code/extra14_rl_env/expense-summary/v1/tests/test.sh

@@ -0,0 +1,3 @@
+#!/bin/sh
+set -eu
+python /tests/grade.py

+ 2 - 1
code/extra14_rl_env/tasks/order-stats-v2/environment/Dockerfile → code/extra14_rl_env/expense-summary/v2/environment/Dockerfile

@@ -1,3 +1,4 @@
 FROM python:3.12-slim
+
 WORKDIR /app
-COPY stats.py orders.csv /app/
+COPY input.csv /app/input.csv

+ 7 - 0
code/extra14_rl_env/expense-summary/v2/environment/input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2026-10-01,张敏,餐饮,120.00
+2026-10-02,李雷,交通,500.00
+2026-10-03,张敏,住宿,680.50
+2026-10-04,王芳,办公,500.01
+2026-10-05,李雷,餐饮,45.25
+2026-10-06,王芳,交通,90

+ 8 - 0
code/extra14_rl_env/expense-summary/v2/instruction.md

@@ -0,0 +1,8 @@
+# 汇总报销明细
+
+请编写 `/app/summarize.py`,用 Python 标准库实现报销明细汇总。程序接收三个位置参数:输入 CSV 路径、汇总 CSV 输出路径、复核明细 CSV 输出路径。输入文件包含 `日期`、`姓名`、`类别`、`金额` 四列。
+
+然后用该程序处理 `/app/input.csv`,在 `/app/` 下生成以下两个 UTF-8 CSV 文件:
+
+1. `summary.csv`:按姓名汇总报销总额,列名为 `姓名`、`报销总额`。每个人只出现一行,按其在输入中首次出现的顺序排列;金额保留两位小数。
+2. `over_500.csv`:列名和列顺序与输入相同,只保留金额严格大于 500 元的原始记录,并按输入中的顺序排列。金额等于 500 元的记录不包含在内。

+ 5 - 0
code/extra14_rl_env/expense-summary/v2/solution/solve.sh

@@ -0,0 +1,5 @@
+#!/bin/sh
+set -eu
+script_dir=$(CDPATH= cd -- "$(dirname -- "$0")" && pwd)
+cp "$script_dir/summarize.py" /app/summarize.py
+python /app/summarize.py /app/input.csv /app/summary.csv /app/over_500.csv

+ 43 - 0
code/extra14_rl_env/expense-summary/v2/solution/summarize.py

@@ -0,0 +1,43 @@
+#!/usr/bin/env python3
+import csv
+import sys
+from collections import OrderedDict
+from decimal import Decimal
+
+
+INPUT_HEADER = ["日期", "姓名", "类别", "金额"]
+SUMMARY_HEADER = ["姓名", "报销总额"]
+
+
+def main():
+    if len(sys.argv) != 4:
+        raise SystemExit("usage: summarize.py INPUT_CSV SUMMARY_CSV OVER_500_CSV")
+
+    input_path, summary_path, filtered_path = sys.argv[1:]
+    with open(input_path, encoding="utf-8-sig", newline="") as source:
+        reader = csv.DictReader(source)
+        if reader.fieldnames != INPUT_HEADER:
+            raise ValueError("unexpected input columns")
+        rows = list(reader)
+
+    totals = OrderedDict()
+    for row in rows:
+        name = row["姓名"]
+        totals[name] = totals.get(name, Decimal("0")) + Decimal(row["金额"])
+
+    with open(summary_path, "w", encoding="utf-8", newline="") as output:
+        writer = csv.writer(output)
+        writer.writerow(SUMMARY_HEADER)
+        for name, total in totals.items():
+            writer.writerow([name, f"{total:.2f}"])
+
+    with open(filtered_path, "w", encoding="utf-8", newline="") as output:
+        writer = csv.writer(output)
+        writer.writerow(INPUT_HEADER)
+        for row in rows:
+            if Decimal(row["金额"]) > Decimal("500"):
+                writer.writerow([row[column] for column in INPUT_HEADER])
+
+
+if __name__ == "__main__":
+    main()

+ 10 - 0
code/extra14_rl_env/expense-summary/v2/task.toml

@@ -0,0 +1,10 @@
+schema_version = "1.4"
+artifacts = ["/app/summarize.py", "/app/summary.csv", "/app/over_500.csv"]
+
+[task]
+name = "expense-summary/monthly-reimbursements"
+description = "按人汇总报销金额并筛出超过 500 元的记录"
+
+[verifier]
+environment_mode = "separate"
+timeout_sec = 60

+ 4 - 0
code/extra14_rl_env/expense-summary/v2/tests/Dockerfile

@@ -0,0 +1,4 @@
+FROM python:3.12-slim
+
+WORKDIR /tests
+COPY . /tests/

+ 95 - 0
code/extra14_rl_env/expense-summary/v2/tests/grade.py

@@ -0,0 +1,95 @@
+import csv
+import os
+import subprocess
+import sys
+import tempfile
+from decimal import Decimal, InvalidOperation
+
+
+SCRIPT = "/app/summarize.py"
+TASK_INPUT = "/tests/task_input.csv"
+TEST_INPUT = "/tests/input.csv"
+SUMMARY = "/app/summary.csv"
+FILTERED = "/app/over_500.csv"
+DETAIL_HEADER = ["日期", "姓名", "类别", "金额"]
+SUMMARY_HEADER = ["姓名", "报销总额"]
+
+
+def read_csv(path):
+    with open(path, encoding="utf-8-sig", newline="") as stream:
+        return list(csv.reader(stream))
+
+
+def fail(message):
+    os.makedirs("/logs/verifier", exist_ok=True)
+    with open("/logs/verifier/reward.txt", "w", encoding="utf-8") as reward:
+        reward.write("0\n")
+    print(message)
+    raise SystemExit(0)
+
+
+def expected_rows(source):
+    if not source or source[0] != DETAIL_HEADER:
+        raise ValueError("invalid verifier input")
+    totals = {}
+    order = []
+    filtered = []
+    for row in source[1:]:
+        if len(row) != 4:
+            raise ValueError("invalid verifier input")
+        _, name, _, raw_amount = row
+        amount = Decimal(raw_amount)
+        if name not in totals:
+            totals[name] = Decimal("0")
+            order.append(name)
+        totals[name] += amount
+        if amount > Decimal("500"):
+            filtered.append(row)
+    summary = [SUMMARY_HEADER]
+    summary.extend([[name, f"{totals[name]:.2f}"] for name in order])
+    return summary, [DETAIL_HEADER, *filtered]
+
+
+def check_outputs(input_path, summary_path, filtered_path):
+    source = read_csv(input_path)
+    summary, filtered = expected_rows(source)
+    if read_csv(summary_path) != summary or read_csv(filtered_path) != filtered:
+        return False
+    return True
+
+
+def main():
+    try:
+        if not os.path.isfile(SCRIPT):
+            fail("Required summary program is missing.")
+        if not check_outputs(TASK_INPUT, SUMMARY, FILTERED):
+            fail("Outputs for the provided CSV do not match the task requirements.")
+
+        test_source = read_csv(TEST_INPUT)
+        expected_rows(test_source)
+        with tempfile.TemporaryDirectory(prefix="expense-summary-") as temp_dir:
+            summary_path = os.path.join(temp_dir, "summary.csv")
+            filtered_path = os.path.join(temp_dir, "over_500.csv")
+            try:
+                subprocess.run(
+                    [sys.executable, SCRIPT, TEST_INPUT, summary_path, filtered_path],
+                    check=True,
+                    timeout=20,
+                    stdout=subprocess.DEVNULL,
+                    stderr=subprocess.DEVNULL,
+                )
+            except (OSError, subprocess.SubprocessError):
+                fail("Summary program could not process the verifier CSV.")
+            if not check_outputs(TEST_INPUT, summary_path, filtered_path):
+                fail("Summary program output does not meet the task requirements.")
+    except (OSError, csv.Error, InvalidOperation, ValueError, KeyError):
+        fail("Required CSV files are missing, unreadable, or invalid.")
+
+    os.makedirs("/logs/verifier", exist_ok=True)
+    with open("/logs/verifier/reward.txt", "w", encoding="utf-8") as reward:
+        reward.write("1\n")
+    print("Outputs meet the task requirements.")
+
+
+if __name__ == "__main__":
+    main()

+ 7 - 0
code/extra14_rl_env/expense-summary/v2/tests/input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2025-01-03,陈晨,交通,500
+2025-01-04,赵宁,餐饮,500.01
+2025-01-05,陈晨,住宿,12.35
+2025-01-06,孙悦,办公,900.10
+2025-01-07,赵宁,交通,0.99
+2025-01-08,孙悦,餐饮,100

+ 7 - 0
code/extra14_rl_env/expense-summary/v2/tests/task_input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2026-10-01,张敏,餐饮,120.00
+2026-10-02,李雷,交通,500.00
+2026-10-03,张敏,住宿,680.50
+2026-10-04,王芳,办公,500.01
+2026-10-05,李雷,餐饮,45.25
+2026-10-06,王芳,交通,90

+ 3 - 0
code/extra14_rl_env/expense-summary/v2/tests/test.sh

@@ -0,0 +1,3 @@
+#!/bin/sh
+set -eu
+python /tests/grade.py

+ 4 - 0
code/extra14_rl_env/expense-summary/v3/environment/Dockerfile

@@ -0,0 +1,4 @@
+FROM python:3.12-slim
+
+WORKDIR /app
+COPY input.csv /app/input.csv

+ 7 - 0
code/extra14_rl_env/expense-summary/v3/environment/input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2026-10-01,张敏,餐饮,120.00
+2026-10-02,李雷,交通,500.00
+2026-10-03,张敏,住宿,680.50
+2026-10-04,王芳,办公,500.01
+2026-10-05,李雷,餐饮,45.25
+2026-10-06,王芳,交通,90

+ 8 - 0
code/extra14_rl_env/expense-summary/v3/instruction.md

@@ -0,0 +1,8 @@
+# 汇总报销明细
+
+请编写 `/app/summarize.py`,用 Python 标准库实现报销明细汇总。程序接收三个位置参数:输入 CSV 路径、汇总 CSV 输出路径、复核明细 CSV 输出路径。输入文件包含 `日期`、`姓名`、`类别`、`金额` 四列。
+
+然后用该程序处理 `/app/input.csv`,在 `/app/` 下生成以下两个 UTF-8 CSV 文件:
+
+1. `summary.csv`:按姓名汇总报销总额,列名为 `姓名`、`报销总额`。每个人只出现一行,按其在输入中首次出现的顺序排列;金额保留两位小数。
+2. `over_500.csv`:列名和列顺序与输入相同,只保留金额严格大于 500 元的原始记录,并按输入中的顺序排列。金额等于 500 元的记录不包含在内。

+ 5 - 0
code/extra14_rl_env/expense-summary/v3/solution/solve.sh

@@ -0,0 +1,5 @@
+#!/bin/sh
+set -eu
+script_dir=$(CDPATH= cd -- "$(dirname -- "$0")" && pwd)
+cp "$script_dir/summarize.py" /app/summarize.py
+python /app/summarize.py /app/input.csv /app/summary.csv /app/over_500.csv

+ 43 - 0
code/extra14_rl_env/expense-summary/v3/solution/summarize.py

@@ -0,0 +1,43 @@
+#!/usr/bin/env python3
+import csv
+import sys
+from collections import OrderedDict
+from decimal import Decimal
+
+
+INPUT_HEADER = ["日期", "姓名", "类别", "金额"]
+SUMMARY_HEADER = ["姓名", "报销总额"]
+
+
+def main():
+    if len(sys.argv) != 4:
+        raise SystemExit("usage: summarize.py INPUT_CSV SUMMARY_CSV OVER_500_CSV")
+
+    input_path, summary_path, filtered_path = sys.argv[1:]
+    with open(input_path, encoding="utf-8-sig", newline="") as source:
+        reader = csv.DictReader(source)
+        if reader.fieldnames != INPUT_HEADER:
+            raise ValueError("unexpected input columns")
+        rows = list(reader)
+
+    totals = OrderedDict()
+    for row in rows:
+        name = row["姓名"]
+        totals[name] = totals.get(name, Decimal("0")) + Decimal(row["金额"])
+
+    with open(summary_path, "w", encoding="utf-8", newline="") as output:
+        writer = csv.writer(output)
+        writer.writerow(SUMMARY_HEADER)
+        for name, total in totals.items():
+            writer.writerow([name, f"{total:.2f}"])
+
+    with open(filtered_path, "w", encoding="utf-8", newline="") as output:
+        writer = csv.writer(output)
+        writer.writerow(INPUT_HEADER)
+        for row in rows:
+            if Decimal(row["金额"]) > Decimal("500"):
+                writer.writerow([row[column] for column in INPUT_HEADER])
+
+
+if __name__ == "__main__":
+    main()

+ 10 - 0
code/extra14_rl_env/expense-summary/v3/task.toml

@@ -0,0 +1,10 @@
+schema_version = "1.4"
+artifacts = ["/app/summarize.py", "/app/summary.csv", "/app/over_500.csv"]
+
+[task]
+name = "expense-summary/monthly-reimbursements"
+description = "按人汇总报销金额并筛出超过 500 元的记录"
+
+[verifier]
+environment_mode = "separate"
+timeout_sec = 60

+ 4 - 0
code/extra14_rl_env/expense-summary/v3/tests/Dockerfile

@@ -0,0 +1,4 @@
+FROM python:3.12-slim
+
+WORKDIR /tests
+COPY . /tests/

+ 104 - 0
code/extra14_rl_env/expense-summary/v3/tests/grade.py

@@ -0,0 +1,104 @@
+import csv
+import os
+import shutil
+import subprocess
+import sys
+import tempfile
+from decimal import Decimal, InvalidOperation
+
+
+SCRIPT = "/app/summarize.py"
+TASK_INPUT = "/tests/task_input.csv"
+TEST_INPUT = "/tests/input.csv"
+SUMMARY = "/app/summary.csv"
+FILTERED = "/app/over_500.csv"
+DETAIL_HEADER = ["日期", "姓名", "类别", "金额"]
+SUMMARY_HEADER = ["姓名", "报销总额"]
+
+
+def read_csv(path):
+    with open(path, encoding="utf-8-sig", newline="") as stream:
+        return list(csv.reader(stream))
+
+
+def fail(message):
+    os.makedirs("/logs/verifier", exist_ok=True)
+    with open("/logs/verifier/reward.txt", "w", encoding="utf-8") as reward:
+        reward.write("0\n")
+    print(message)
+    raise SystemExit(0)
+
+
+def expected_rows(source):
+    if not source or source[0] != DETAIL_HEADER:
+        raise ValueError("invalid verifier input")
+    totals = {}
+    order = []
+    filtered = []
+    for row in source[1:]:
+        if len(row) != 4:
+            raise ValueError("invalid verifier input")
+        _, name, _, raw_amount = row
+        amount = Decimal(raw_amount)
+        if name not in totals:
+            totals[name] = Decimal("0")
+            order.append(name)
+        totals[name] += amount
+        if amount > Decimal("500"):
+            filtered.append(row)
+    summary = [SUMMARY_HEADER]
+    summary.extend([[name, f"{totals[name]:.2f}"] for name in order])
+    return summary, [DETAIL_HEADER, *filtered]
+
+
+def check_outputs(input_path, summary_path, filtered_path):
+    source = read_csv(input_path)
+    summary, filtered = expected_rows(source)
+    return outputs_match(summary_path, filtered_path, summary, filtered)
+
+
+def outputs_match(summary_path, filtered_path, summary, filtered):
+    if read_csv(summary_path) != summary or read_csv(filtered_path) != filtered:
+        return False
+    return True
+
+
+def main():
+    try:
+        if not os.path.isfile(SCRIPT):
+            fail("Required summary program is missing.")
+        if not check_outputs(TASK_INPUT, SUMMARY, FILTERED):
+            fail("Outputs for the provided CSV do not match the task requirements.")
+
+        test_source = read_csv(TEST_INPUT)
+        expected_summary, expected_filtered = expected_rows(test_source)
+        with tempfile.TemporaryDirectory(prefix="expense-summary-") as temp_dir:
+            staged_input = os.path.join(temp_dir, "input.csv")
+            summary_path = os.path.join(temp_dir, "summary.csv")
+            filtered_path = os.path.join(temp_dir, "over_500.csv")
+            shutil.copyfile(TEST_INPUT, staged_input)
+            try:
+                subprocess.run(
+                    [sys.executable, SCRIPT, staged_input, summary_path, filtered_path],
+                    check=True,
+                    timeout=20,
+                    stdout=subprocess.DEVNULL,
+                    stderr=subprocess.DEVNULL,
+                )
+            except (OSError, subprocess.SubprocessError):
+                fail("Summary program could not process the verifier CSV.")
+            if not outputs_match(
+                summary_path, filtered_path, expected_summary, expected_filtered
+            ):
+                fail("Summary program output does not meet the task requirements.")
+    except (OSError, csv.Error, InvalidOperation, ValueError, KeyError):
+        fail("Required CSV files are missing, unreadable, or invalid.")
+
+    os.makedirs("/logs/verifier", exist_ok=True)
+    with open("/logs/verifier/reward.txt", "w", encoding="utf-8") as reward:
+        reward.write("1\n")
+    print("Outputs meet the task requirements.")
+
+
+if __name__ == "__main__":
+    main()

+ 9 - 0
code/extra14_rl_env/expense-summary/v3/tests/input.csv

@@ -0,0 +1,9 @@
+日期,姓名,类别,金额
+2025-01-03,陈晨,交通,500
+2025-01-04,赵宁,餐饮,500.01
+2025-01-05,陈晨,住宿,12.35
+2025-01-06,孙悦,办公,900.10
+2025-01-07,赵宁,交通,0.99
+2025-01-08,孙悦,餐饮,100
+2025-01-09,吴敏,办公,20
+2025-01-10,吴敏,交通,30

+ 7 - 0
code/extra14_rl_env/expense-summary/v3/tests/task_input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2026-10-01,张敏,餐饮,120.00
+2026-10-02,李雷,交通,500.00
+2026-10-03,张敏,住宿,680.50
+2026-10-04,王芳,办公,500.01
+2026-10-05,李雷,餐饮,45.25
+2026-10-06,王芳,交通,90

+ 3 - 0
code/extra14_rl_env/expense-summary/v3/tests/test.sh

@@ -0,0 +1,3 @@
+#!/bin/sh
+set -eu
+python /tests/grade.py

+ 4 - 0
code/extra14_rl_env/expense-summary/v4/environment/Dockerfile

@@ -0,0 +1,4 @@
+FROM python:3.12-slim
+
+WORKDIR /app
+COPY input.csv /app/input.csv

+ 7 - 0
code/extra14_rl_env/expense-summary/v4/environment/input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2026-10-01,张敏,餐饮,120.00
+2026-10-02,李雷,交通,500.00
+2026-10-03,张敏,住宿,680.50
+2026-10-04,王芳,办公,500.01
+2026-10-05,李雷,餐饮,45.25
+2026-10-06,王芳,交通,90

+ 8 - 0
code/extra14_rl_env/expense-summary/v4/instruction.md

@@ -0,0 +1,8 @@
+# 汇总报销明细
+
+请编写 `/app/summarize.py`,用 Python 标准库实现报销明细汇总。程序接收三个位置参数:输入 CSV 路径、汇总 CSV 输出路径、复核明细 CSV 输出路径。输入文件包含 `日期`、`姓名`、`类别`、`金额` 四列。
+
+然后用该程序处理 `/app/input.csv`,在 `/app/` 下生成以下两个 UTF-8 CSV 文件:
+
+1. `summary.csv`:按姓名汇总报销总额,列名为 `姓名`、`报销总额`。每个人只出现一行,按其在输入中首次出现的顺序排列;金额保留两位小数。
+2. `over_500.csv`:列名和列顺序与输入相同,只保留金额严格大于 500 元的原始记录,并按输入中的顺序排列。金额等于 500 元的记录不包含在内。

+ 5 - 0
code/extra14_rl_env/expense-summary/v4/solution/solve.sh

@@ -0,0 +1,5 @@
+#!/bin/sh
+set -eu
+script_dir=$(CDPATH= cd -- "$(dirname -- "$0")" && pwd)
+cp "$script_dir/summarize.py" /app/summarize.py
+python /app/summarize.py /app/input.csv /app/summary.csv /app/over_500.csv

+ 43 - 0
code/extra14_rl_env/expense-summary/v4/solution/summarize.py

@@ -0,0 +1,43 @@
+#!/usr/bin/env python3
+import csv
+import sys
+from collections import OrderedDict
+from decimal import Decimal
+
+
+INPUT_HEADER = ["日期", "姓名", "类别", "金额"]
+SUMMARY_HEADER = ["姓名", "报销总额"]
+
+
+def main():
+    if len(sys.argv) != 4:
+        raise SystemExit("usage: summarize.py INPUT_CSV SUMMARY_CSV OVER_500_CSV")
+
+    input_path, summary_path, filtered_path = sys.argv[1:]
+    with open(input_path, encoding="utf-8-sig", newline="") as source:
+        reader = csv.DictReader(source)
+        if reader.fieldnames != INPUT_HEADER:
+            raise ValueError("unexpected input columns")
+        rows = list(reader)
+
+    totals = OrderedDict()
+    for row in rows:
+        name = row["姓名"]
+        totals[name] = totals.get(name, Decimal("0")) + Decimal(row["金额"])
+
+    with open(summary_path, "w", encoding="utf-8", newline="") as output:
+        writer = csv.writer(output)
+        writer.writerow(SUMMARY_HEADER)
+        for name, total in totals.items():
+            writer.writerow([name, f"{total:.2f}"])
+
+    with open(filtered_path, "w", encoding="utf-8", newline="") as output:
+        writer = csv.writer(output)
+        writer.writerow(INPUT_HEADER)
+        for row in rows:
+            if Decimal(row["金额"]) > Decimal("500"):
+                writer.writerow([row[column] for column in INPUT_HEADER])
+
+
+if __name__ == "__main__":
+    main()

+ 10 - 0
code/extra14_rl_env/expense-summary/v4/task.toml

@@ -0,0 +1,10 @@
+schema_version = "1.4"
+artifacts = ["/app/summarize.py", "/app/summary.csv", "/app/over_500.csv"]
+
+[task]
+name = "expense-summary/monthly-reimbursements"
+description = "按人汇总报销金额并筛出超过 500 元的记录"
+
+[verifier]
+environment_mode = "separate"
+timeout_sec = 60

+ 4 - 0
code/extra14_rl_env/expense-summary/v4/tests/Dockerfile

@@ -0,0 +1,4 @@
+FROM python:3.12-slim
+
+WORKDIR /tests
+COPY . /tests/

+ 139 - 0
code/extra14_rl_env/expense-summary/v4/tests/grade.py

@@ -0,0 +1,139 @@
+import csv
+import os
+import pwd
+import stat
+import shutil
+import subprocess
+import sys
+import tempfile
+from decimal import Decimal, InvalidOperation
+
+
+SCRIPT = "/app/summarize.py"
+TASK_INPUT = "/tests/task_input.csv"
+TEST_INPUT = "/tests/input.csv"
+SUMMARY = "/app/summary.csv"
+FILTERED = "/app/over_500.csv"
+DETAIL_HEADER = ["日期", "姓名", "类别", "金额"]
+SUMMARY_HEADER = ["姓名", "报销总额"]
+REWARD_DIR = "/logs/verifier"
+REWARD = os.path.join(REWARD_DIR, "reward.txt")
+
+
+def read_csv(path):
+    with open(path, encoding="utf-8-sig", newline="") as stream:
+        return list(csv.reader(stream))
+
+
+def fail(message):
+    os.makedirs(REWARD_DIR, exist_ok=True)
+    with open(REWARD, "w", encoding="utf-8") as reward:
+        reward.write("0\n")
+    print(message)
+    raise SystemExit(0)
+
+
+def drop_privileges(uid, gid):
+    os.setgroups([])
+    os.setgid(gid)
+    os.setuid(uid)
+
+
+def run_untrusted_script():
+    if os.geteuid() != 0:
+        raise RuntimeError("Verifier must run as root to isolate the submitted program.")
+
+    nobody = pwd.getpwnam("nobody")
+    with tempfile.TemporaryDirectory(prefix="expense-summary-") as temp_dir:
+        os.chown(temp_dir, nobody.pw_uid, nobody.pw_gid)
+        os.chmod(temp_dir, 0o700)
+        staged_input = os.path.join(temp_dir, "input.csv")
+        summary_path = os.path.join(temp_dir, "summary.csv")
+        filtered_path = os.path.join(temp_dir, "over_500.csv")
+        shutil.copyfile(TEST_INPUT, staged_input)
+        os.chown(staged_input, nobody.pw_uid, nobody.pw_gid)
+        os.chmod(staged_input, 0o400)
+        subprocess.run(
+            [sys.executable, SCRIPT, staged_input, summary_path, filtered_path],
+            check=True,
+            timeout=20,
+            stdout=subprocess.DEVNULL,
+            stderr=subprocess.DEVNULL,
+            preexec_fn=lambda: drop_privileges(nobody.pw_uid, nobody.pw_gid),
+        )
+        return read_csv(summary_path), read_csv(filtered_path)
+
+
+def expected_rows(source):
+    if not source or source[0] != DETAIL_HEADER:
+        raise ValueError("invalid verifier input")
+    totals = {}
+    order = []
+    filtered = []
+    for row in source[1:]:
+        if len(row) != 4:
+            raise ValueError("invalid verifier input")
+        _, name, _, raw_amount = row
+        amount = Decimal(raw_amount)
+        if name not in totals:
+            totals[name] = Decimal("0")
+            order.append(name)
+        totals[name] += amount
+        if amount > Decimal("500"):
+            filtered.append(row)
+    summary = [SUMMARY_HEADER]
+    summary.extend([[name, f"{totals[name]:.2f}"] for name in order])
+    return summary, [DETAIL_HEADER, *filtered]
+
+
+def check_outputs(input_path, summary_path, filtered_path):
+    source = read_csv(input_path)
+    summary, filtered = expected_rows(source)
+    return outputs_match(summary_path, filtered_path, summary, filtered)
+
+
+def outputs_match(summary_path, filtered_path, summary, filtered):
+    if read_csv(summary_path) != summary or read_csv(filtered_path) != filtered:
+        return False
+    return True
+
+
+def main():
+    try:
+        if not os.path.isfile(SCRIPT):
+            fail("Required summary program is missing.")
+        if not check_outputs(TASK_INPUT, SUMMARY, FILTERED):
+            fail("Outputs for the provided CSV do not match the task requirements.")
+
+        test_source = read_csv(TEST_INPUT)
+        expected_summary, expected_filtered = expected_rows(test_source)
+        os.makedirs(REWARD_DIR, exist_ok=True)
+        os.chmod(REWARD_DIR, 0o700)
+        with open(REWARD, "w", encoding="utf-8") as reward:
+            reward.write("0\n")
+        os.chmod(REWARD, 0o600)
+
+        original_mode = stat.S_IMODE(os.stat(TEST_INPUT).st_mode)
+        os.chmod(TEST_INPUT, 0)
+        try:
+            try:
+                actual_summary, actual_filtered = run_untrusted_script()
+            except (OSError, subprocess.SubprocessError, RuntimeError):
+                fail("Summary program could not process the verifier CSV.")
+        finally:
+            os.chmod(TEST_INPUT, original_mode)
+        if (
+            actual_summary != expected_summary
+            or actual_filtered != expected_filtered
+        ):
+            fail("Summary program output does not meet the task requirements.")
+    except (OSError, csv.Error, InvalidOperation, ValueError, KeyError):
+        fail("Required CSV files are missing, unreadable, or invalid.")
+
+    with open(REWARD, "w", encoding="utf-8") as reward:
+        reward.write("1\n")
+    print("Outputs meet the task requirements.")
+
+
+if __name__ == "__main__":
+    main()

+ 9 - 0
code/extra14_rl_env/expense-summary/v4/tests/input.csv

@@ -0,0 +1,9 @@
+日期,姓名,类别,金额
+2025-01-03,陈晨,交通,500
+2025-01-04,赵宁,餐饮,500.01
+2025-01-05,陈晨,住宿,12.35
+2025-01-06,孙悦,办公,900.10
+2025-01-07,赵宁,交通,0.99
+2025-01-08,孙悦,餐饮,100
+2025-01-09,吴敏,办公,20
+2025-01-10,吴敏,交通,30

+ 7 - 0
code/extra14_rl_env/expense-summary/v4/tests/task_input.csv

@@ -0,0 +1,7 @@
+日期,姓名,类别,金额
+2026-10-01,张敏,餐饮,120.00
+2026-10-02,李雷,交通,500.00
+2026-10-03,张敏,住宿,680.50
+2026-10-04,王芳,办公,500.01
+2026-10-05,李雷,餐饮,45.25
+2026-10-06,王芳,交通,90

+ 3 - 0
code/extra14_rl_env/expense-summary/v4/tests/test.sh

@@ -0,0 +1,3 @@
+#!/bin/sh
+set -eu
+python /tests/grade.py

+ 70 - 0
code/extra14_rl_env/gate.py

@@ -0,0 +1,70 @@
+"""对 Agent 生成的任务跑门禁:静态检查、参考解、空解。
+
+用法:python3 synth/gate.py <任务目录>
+有没通过的检查时,会打印细节,可以存成文件交给 run_agent.sh 修改。
+"""
+import re
+import subprocess
+import sys
+import tempfile
+from pathlib import Path
+
+
+def last_error(output):
+    """从 Harbor 的报错栈里取出最后一条 XxxError: ... 信息。"""
+    text = re.sub(r"[│╭╮╰╯─]", " ", output)
+    text = re.sub(r"ExceptionGroup: unhandled errors in a TaskGroup \(\d+ sub-exceptions?\)", " ", text)
+    text = " ".join(text.split())
+    errors = re.findall(r"\b\w+(?:Error|Exception): .*?(?=\s\w+(?:Error|Exception): |$)", text)
+    errors = [e for e in errors if not e.startswith("ExceptionGroup")]
+    return errors[-1][:500] if errors else text[-500:]
+
+
+def run_trial(task, agent):
+    """跑一次 trial,返回 (reward, 输出)。拿不到 reward 时,输出是 Harbor 的报错。"""
+    with tempfile.TemporaryDirectory() as tmp:
+        jobs = Path(tmp) / "jobs"
+        proc = subprocess.run(
+            ["harbor", "run", "-p", str(task), "-a", agent, "-o", str(jobs), "-y", "-q"],
+            capture_output=True,
+            text=True,
+        )
+        rewards = list(jobs.glob("*/*/verifier/reward.txt"))
+        if not rewards:
+            return None, last_error(proc.stdout + proc.stderr)
+        stdout = list(jobs.glob("*/*/verifier/test-stdout.txt"))
+        return float(rewards[0].read_text()), stdout[0].read_text() if stdout else ""
+
+
+def main(task_dir):
+    task = Path(task_dir).resolve()
+    rows, details = [], []
+
+    lint = subprocess.run(["harbor", "lint", str(task)], capture_output=True, text=True)
+    ok = lint.returncode == 0
+    rows.append(("lint", "no error", "ok" if ok else "error", ok))
+    if not ok:
+        details.append("harbor lint 输出:\n" + (lint.stdout + lint.stderr).strip())
+
+    for agent, rule, check in (("oracle", "== 1", lambda r: r == 1.0), ("nop", "== 0", lambda r: r == 0.0)):
+        reward, stdout = run_trial(task, agent)
+        if reward is None:
+            # 没拿到 reward 是运行出错,不是任务本身没通过,要先排查环境
+            rows.append((agent, rule, "infra", False))
+            details.append(f"{agent} 没有拿到 reward,Harbor 输出:\n{stdout}")
+            continue
+        ok = check(reward)
+        rows.append((agent, rule, f"{reward:.2f}", ok))
+        if not ok:
+            details.append(f"{agent} 得分 {reward:.2f},判分脚本输出:\n{stdout.strip()}")
+
+    print(f"{'gate':<8}{'expect':<10}{'result':<8}status")
+    for name, rule, shown, ok in rows:
+        print(f"{name:<8}{rule:<10}{shown:<8}{'ok' if ok else 'FAIL'}")
+    for d in details:
+        print("\n" + d)
+    return 0 if all(r[3] for r in rows) else 1
+
+
+if __name__ == "__main__":
+    sys.exit(main(sys.argv[1]))

+ 5 - 5
code/extra14_rl_env/probe.py

@@ -1,6 +1,6 @@
 """用 oracle agent 跑不同的 solve.sh,检查 verifier 会不会判错。
 
-用法:python3 probe.py tasks/order-stats-v2
+用法:python3 probe.py <任务目录> [探针目录],探针目录默认是 probes/
 """
 import shutil
 import subprocess
@@ -12,7 +12,7 @@ HERE = Path(__file__).parent
 
 
 def expectation(name):
-    if name in ("oracle", "variant_rewrite"):
+    if name == "oracle" or name.startswith("variant"):
         return "== 1", lambda r: r == 1.0
     if name == "nop" or name.startswith("shortcut"):
         return "== 0", lambda r: r == 0.0
@@ -34,9 +34,9 @@ def run_trial(task_dir, agent, solve_script=None):
         return float(rewards[0].read_text()) if rewards else None
 
 
-def main(task_dir):
+def main(task_dir, probe_dir=HERE / "probes"):
     probes = [("oracle", "oracle", None), ("nop", "nop", None)]
-    probes += [(p.stem, "oracle", p) for p in sorted((HERE / "probes").glob("*.sh"))]
+    probes += [(p.stem, "oracle", p) for p in sorted(Path(probe_dir).glob("*.sh"))]
     print(f"{'probe':<24}{'expect':<8}{'reward':<8}result")
     failures = 0
     for name, agent, script in probes:
@@ -51,4 +51,4 @@ def main(task_dir):
 
 
 if __name__ == "__main__":
-    sys.exit(main(Path(sys.argv[1]).resolve()))
+    sys.exit(main(Path(sys.argv[1]).resolve(), *sys.argv[2:3]))

+ 0 - 4
code/extra14_rl_env/probes/mutant_clamp_negative.sh

@@ -1,4 +0,0 @@
-#!/bin/bash
-# 单点改坏:退款正确,但总额被截断到 0 以上
-sed -i 's/amount = float(row\["amount"\])/amount = float(row["amount"]) * (-1 if row["type"] == "refund" else 1)/' /app/stats.py
-sed -i 's/print(json.dumps(totals, sort_keys=True))/print(json.dumps({k: max(v, 0.0) for k, v in totals.items()}, sort_keys=True))/' /app/stats.py

+ 5 - 0
code/extra14_rl_env/probes/mutant_ge_500.sh

@@ -0,0 +1,5 @@
+#!/bin/bash
+# 单点改坏:刚好 500 元的记录也挑了出来
+cp /solution/summarize.py /app/summarize.py
+sed -i 's/> Decimal("500")/>= Decimal("500")/' /app/summarize.py
+python3 /app/summarize.py /app/input.csv /app/summary.csv /app/over_500.csv

+ 0 - 3
code/extra14_rl_env/probes/mutant_ignore_refund.sh

@@ -1,3 +0,0 @@
-#!/bin/bash
-# 单点改坏:把退款行跳过,而不是扣除
-sed -i 's/amount = float(row\["amount"\])/amount = 0.0 if row["type"] == "refund" else float(row["amount"])/' /app/stats.py

+ 5 - 0
code/extra14_rl_env/probes/mutant_no_format.sh

@@ -0,0 +1,5 @@
+#!/bin/bash
+# 单点改坏:总额不再格式化成两位小数
+cp /solution/summarize.py /app/summarize.py
+sed -i 's/f"{total:.2f}"/str(total)/' /app/summarize.py
+python3 /app/summarize.py /app/input.csv /app/summary.csv /app/over_500.csv

+ 5 - 0
code/extra14_rl_env/probes/mutant_sorted_names.sh

@@ -0,0 +1,5 @@
+#!/bin/bash
+# 单点改坏:汇总按姓名排序,而不是按首次出现的顺序
+cp /solution/summarize.py /app/summarize.py
+sed -i 's/for name, total in totals.items():/for name, total in sorted(totals.items()):/' /app/summarize.py
+python3 /app/summarize.py /app/input.csv /app/summary.csv /app/over_500.csv

+ 0 - 3
code/extra14_rl_env/probes/mutant_truncate.sh

@@ -1,3 +0,0 @@
-#!/bin/bash
-# 单点改坏:退款正确,但金额被截断成整数
-sed -i 's/amount = float(row\["amount"\])/amount = int(float(row["amount"])) * (-1 if row["type"] == "refund" else 1)/' /app/stats.py

+ 0 - 3
code/extra14_rl_env/probes/shortcut_edit_data.sh

@@ -1,3 +0,0 @@
-#!/bin/bash
-# 取巧:不改代码,改数据,把退款行抹平,应当 0 分
-printf 'user,type,amount\nalice,order,70\nbob,order,50\n' > /app/orders.csv

+ 9 - 3
code/extra14_rl_env/probes/shortcut_hardcode.sh

@@ -1,5 +1,11 @@
 #!/bin/bash
-# 取巧:直接打印示例数据的正确答案,应当 0 分
-cat > /app/stats.py <<'PY'
-print('{"alice": 70.0, "bob": 50.0}')
+# 取巧:手算示例数据的结果写死,脚本只是把它们复制过去,应当 0 分
+printf '姓名,报销总额\n张敏,800.50\n李雷,545.25\n王芳,590.01\n' > /app/summary.csv
+printf '日期,姓名,类别,金额\n2026-10-03,张敏,住宿,680.50\n2026-10-04,王芳,办公,500.01\n' > /app/over_500.csv
+cat > /app/summarize.py <<'PY'
+import shutil
+import sys
+
+shutil.copy("/app/summary.csv", sys.argv[2])
+shutil.copy("/app/over_500.csv", sys.argv[3])
 PY

+ 11 - 0
code/extra14_rl_env/probes/shortcut_kill_grader.sh

@@ -0,0 +1,11 @@
+#!/bin/bash
+# 取巧:示例数据的结果手写;被判分调用时直接写满分,再结束判分进程
+printf '姓名,报销总额\n张敏,800.50\n李雷,545.25\n王芳,590.01\n' > /app/summary.csv
+printf '日期,姓名,类别,金额\n2026-10-03,张敏,住宿,680.50\n2026-10-04,王芳,办公,500.01\n' > /app/over_500.csv
+cat > /app/summarize.py <<'PY'
+import os
+import signal
+
+open("/logs/verifier/reward.txt", "w").write("1\n")
+os.kill(os.getppid(), signal.SIGKILL)
+PY

+ 12 - 0
code/extra14_rl_env/probes/shortcut_rewrite_input.sh

@@ -0,0 +1,12 @@
+#!/bin/bash
+# 取巧:示例数据的结果照样手写;判分时把传进来的输入文件改成只剩表头,再输出空表,应当 0 分
+printf '姓名,报销总额\n张敏,800.50\n李雷,545.25\n王芳,590.01\n' > /app/summary.csv
+printf '日期,姓名,类别,金额\n2026-10-03,张敏,住宿,680.50\n2026-10-04,王芳,办公,500.01\n' > /app/over_500.csv
+cat > /app/summarize.py <<'PY'
+import sys
+
+header = "日期,姓名,类别,金额\n"
+open(sys.argv[1], "w", encoding="utf-8").write(header)
+open(sys.argv[2], "w", encoding="utf-8").write("姓名,报销总额\n")
+open(sys.argv[3], "w", encoding="utf-8").write(header)
+PY

+ 27 - 0
code/extra14_rl_env/probes/variant_float.sh

@@ -0,0 +1,27 @@
+#!/bin/bash
+# 另一种正确写法:用 float 和 csv.reader,应当满分
+cat > /app/summarize.py <<'PY'
+import csv
+import sys
+
+src, summary_path, over_path = sys.argv[1:4]
+with open(src, encoding="utf-8-sig", newline="") as f:
+    rows = list(csv.reader(f))
+header, records = rows[0], rows[1:]
+
+totals = {}
+for date, name, category, amount in records:
+    totals[name] = totals.get(name, 0.0) + float(amount)
+
+with open(summary_path, "w", encoding="utf-8", newline="") as f:
+    w = csv.writer(f)
+    w.writerow(["姓名", "报销总额"])
+    for name, total in totals.items():
+        w.writerow([name, f"{total:.2f}"])
+
+with open(over_path, "w", encoding="utf-8", newline="") as f:
+    w = csv.writer(f)
+    w.writerow(header)
+    w.writerows(r for r in records if float(r[3]) > 500)
+PY
+python3 /app/summarize.py /app/input.csv /app/summary.csv /app/over_500.csv

+ 0 - 16
code/extra14_rl_env/probes/variant_rewrite.sh

@@ -1,16 +0,0 @@
-#!/bin/bash
-# 另一种正确写法:应当满分
-cat > /app/stats.py <<'PY'
-import csv
-import json
-import sys
-from collections import defaultdict
-
-SIGN = {"order": 1, "refund": -1}
-
-totals = defaultdict(float)
-with open(sys.argv[1], newline="") as f:
-    for row in csv.DictReader(f):
-        totals[row["user"]] += SIGN[row["type"]] * float(row["amount"])
-print(json.dumps(totals))
-PY

+ 14 - 0
code/extra14_rl_env/prompt.md

@@ -0,0 +1,14 @@
+把下面这件日常工作做成一个 Harbor 任务,写在当前目录。
+
+Harbor 的任务格式见 https://github.com/harbor-framework/harbor/tree/main/docs-mintlify/tasks ,
+重点看 overview、separate-verifier 和 artifacts 三篇。
+
+要求:
+- 用 separate verifier,判分需要的 Agent 产出声明为 artifacts
+- 判分用 tests/ 里另外准备的数据,只考 instruction.md 写了的要求
+- 什么都不做得 0 分,参考解得 1 分
+- 日志里不打印期望值
+- 任务保持简单
+
+任务:
+每个月月底,我要把同事提交的报销明细汇总一下:按人算出报销总额,再把单笔超过 500 元的记录挑出来,交给财务复核。明细是一个 CSV 文件,列有日期、姓名、类别、金额。

+ 17 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/config.json

@@ -0,0 +1,17 @@
+{
+    "job_name": "codex-luna-v4",
+    "jobs_dir": "sample-jobs",
+    "agent_setup_timeout_multiplier": 4.0,
+    "n_concurrent_trials": 1,
+    "agents": [
+        {
+            "name": "codex",
+            "model_name": "openai/gpt-6-luna"
+        }
+    ],
+    "tasks": [
+        {
+            "path": "expense-summary/v4"
+        }
+    ]
+}

+ 39 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/result.json

@@ -0,0 +1,39 @@
+{
+    "id": "cb2f6f5c-b2dd-457d-bc7d-74b65cac2973",
+    "started_at": "2026-11-11T12:40:59.015077",
+    "updated_at": "2026-11-11T12:45:07.970307",
+    "finished_at": "2026-11-11T12:45:07.970307",
+    "n_total_trials": 1,
+    "stats": {
+        "n_completed_trials": 1,
+        "n_errored_trials": 0,
+        "n_running_trials": 0,
+        "n_pending_trials": 0,
+        "n_cancelled_trials": 0,
+        "n_retries": 0,
+        "evals": {
+            "codex__gpt-6-luna__adhoc": {
+                "n_trials": 1,
+                "n_errors": 0,
+                "metrics": [
+                    {
+                        "mean": 1.0
+                    }
+                ],
+                "pass_at_k": {},
+                "reward_stats": {
+                    "reward": {
+                        "1.0": [
+                            "v4__8M3PRNU"
+                        ]
+                    }
+                },
+                "exception_stats": {}
+            }
+        },
+        "n_input_tokens": 57476,
+        "n_cache_tokens": 51200,
+        "n_output_tokens": 813,
+        "cost_usd": 0.0015461
+    }
+}

A különbségek nem kerülnek megjelenítésre, a fájl túl nagy
+ 10 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/agent/codex.txt


A különbségek nem kerülnek megjelenítésre, a fájl túl nagy
+ 154 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/agent/trajectory.json


+ 3 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/artifacts/app/over_500.csv

@@ -0,0 +1,3 @@
+日期,姓名,类别,金额
+2026-10-03,张敏,住宿,680.50
+2026-10-04,王芳,办公,500.01

+ 47 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/artifacts/app/summarize.py

@@ -0,0 +1,47 @@
+#!/usr/bin/env python3
+"""Summarize reimbursement records and write records over 500 yuan."""
+
+import csv
+import sys
+from decimal import Decimal
+
+
+def main():
+    if len(sys.argv) != 4:
+        raise SystemExit(
+            "Usage: python summarize.py INPUT_CSV SUMMARY_CSV OVER_500_CSV"
+        )
+
+    input_path, summary_path, over_500_path = sys.argv[1:]
+    totals = {}
+    over_500_rows = []
+
+    with open(input_path, "r", encoding="utf-8-sig", newline="") as source:
+        reader = csv.DictReader(source)
+        expected = ["日期", "姓名", "类别", "金额"]
+        if reader.fieldnames != expected:
+            raise ValueError(f"CSV columns must be {expected!r}")
+
+        for row in reader:
+            name = row["姓名"]
+            amount = Decimal(row["金额"])
+            if name not in totals:
+                totals[name] = Decimal("0")
+            totals[name] += amount
+            if amount > Decimal("500"):
+                over_500_rows.append(row)
+
+    with open(summary_path, "w", encoding="utf-8", newline="") as output:
+        writer = csv.writer(output)
+        writer.writerow(["姓名", "报销总额"])
+        for name, total in totals.items():
+            writer.writerow([name, f"{total:.2f}"])
+
+    with open(over_500_path, "w", encoding="utf-8", newline="") as output:
+        writer = csv.DictWriter(output, fieldnames=["日期", "姓名", "类别", "金额"])
+        writer.writeheader()
+        writer.writerows(over_500_rows)
+
+
+if __name__ == "__main__":
+    main()

+ 4 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/artifacts/app/summary.csv

@@ -0,0 +1,4 @@
+姓名,报销总额
+张敏,800.50
+李雷,545.25
+王芳,590.01

+ 34 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/artifacts/manifest.json

@@ -0,0 +1,34 @@
+[
+  {
+    "source": "/logs/artifacts",
+    "destination": "artifacts/logs/artifacts",
+    "type": "directory",
+    "status": "ok",
+    "service": null,
+    "exclude": []
+  },
+  {
+    "source": "/app/summarize.py",
+    "destination": "artifacts/app/summarize.py",
+    "type": "file",
+    "status": "ok",
+    "service": null,
+    "exclude": []
+  },
+  {
+    "source": "/app/summary.csv",
+    "destination": "artifacts/app/summary.csv",
+    "type": "file",
+    "status": "ok",
+    "service": null,
+    "exclude": []
+  },
+  {
+    "source": "/app/over_500.csv",
+    "destination": "artifacts/app/over_500.csv",
+    "type": "file",
+    "status": "ok",
+    "service": null,
+    "exclude": []
+  }
+]

+ 13 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/config.json

@@ -0,0 +1,13 @@
+{
+    "task": {
+        "path": "expense-summary/v4"
+    },
+    "trial_name": "v4__8M3PRNU",
+    "trials_dir": "sample-jobs/codex-luna-v4",
+    "agent_setup_timeout_multiplier": 4.0,
+    "agent": {
+        "name": "codex",
+        "model_name": "openai/gpt-6-luna"
+    },
+    "job_id": "cb2f6f5c-b2dd-457d-bc7d-74b65cac2973"
+}

+ 130 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/result.json

@@ -0,0 +1,130 @@
+{
+    "id": "7707a495-d2f8-441c-95e2-fe7e3f80e5aa",
+    "task_name": "expense-summary/monthly-reimbursements",
+    "trial_name": "v4__8M3PRNU",
+    "trial_uri": "sample-jobs/codex-luna-v4/v4__8M3PRNU",
+    "task_id": {
+        "path": "expense-summary/v4"
+    },
+    "source": null,
+    "task_checksum": "aded41804a36c63101fa940fef50fdbe92f752173f675de4a334010b4c4fb90d",
+    "config": {
+        "task": {
+            "path": "expense-summary/v4",
+            "git_url": null,
+            "git_commit_id": null,
+            "name": null,
+            "ref": null,
+            "overwrite": false,
+            "download_dir": null,
+            "source": null
+        },
+        "trial_name": "v4__8M3PRNU",
+        "trials_dir": "sample-jobs/codex-luna-v4",
+        "install_only": false,
+        "timeout_multiplier": 1.0,
+        "agent_timeout_multiplier": null,
+        "verifier_timeout_multiplier": null,
+        "agent_setup_timeout_multiplier": 4.0,
+        "environment_build_timeout_multiplier": null,
+        "agent": {
+            "name": "codex",
+            "import_path": null,
+            "model_name": "openai/gpt-6-luna",
+            "base_url": null,
+            "model_api_key_name": null,
+            "model_api_format": null,
+            "skip_model_parsing": false,
+            "n_concurrent": null,
+            "concurrency_group": null,
+            "skills": [],
+            "override_timeout_sec": null,
+            "override_setup_timeout_sec": null,
+            "max_timeout_sec": null,
+            "resume_trajectory": false,
+            "load_trajectory": null,
+            "extra_allowed_hosts": [],
+            "kwargs": {},
+            "mcp_servers": []
+        },
+        "user_agent": null,
+        "environment": {
+            "type": "docker",
+            "import_path": null,
+            "force_build": false,
+            "delete": true,
+            "stream": false,
+            "cpu_enforcement_policy": "auto",
+            "memory_enforcement_policy": "auto",
+            "override_cpus": null,
+            "override_memory_mb": null,
+            "override_storage_mb": null,
+            "override_gpus": null,
+            "override_tpu": null,
+            "mounts": null,
+            "extra_docker_compose": [],
+            "kwargs": {},
+            "extra_allowed_hosts": []
+        },
+        "verifier": {
+            "override_timeout_sec": null,
+            "max_timeout_sec": null,
+            "disable": false
+        },
+        "artifacts": [],
+        "extra_instruction_paths": [],
+        "extra_instructions": [],
+        "job_id": "cb2f6f5c-b2dd-457d-bc7d-74b65cac2973",
+        "source_trial": null
+    },
+    "agent_info": {
+        "name": "codex",
+        "version": "0.167.1",
+        "model_info": {
+            "name": "gpt-6-luna",
+            "provider": "openai"
+        }
+    },
+    "agent_result": {
+        "n_input_tokens": 57476,
+        "n_cache_tokens": 51200,
+        "n_output_tokens": 813,
+        "cost_usd": 0.0015461,
+        "model_usage": {
+            "openai/gpt-6-luna": {
+                "n_input_tokens": 57476,
+                "n_cache_tokens": 51200,
+                "n_output_tokens": 813,
+                "cost_usd": 0.0015461
+            }
+        },
+        "rollout_details": null,
+        "metadata": null
+    },
+    "verifier_result": {
+        "rewards": {
+            "reward": 1.0
+        }
+    },
+    "verifier_environment_mode": "separate",
+    "exception_info": null,
+    "started_at": "2026-11-11T04:40:59.038554Z",
+    "finished_at": "2026-11-11T04:45:07.960141Z",
+    "environment_setup": {
+        "started_at": "2026-11-11T04:40:59.055288Z",
+        "finished_at": "2026-11-11T04:41:00.710865Z"
+    },
+    "agent_setup": {
+        "started_at": "2026-11-11T04:41:00.710958Z",
+        "finished_at": "2026-11-11T04:44:22.756180Z"
+    },
+    "agent_execution": {
+        "started_at": "2026-11-11T04:44:22.756985Z",
+        "finished_at": "2026-11-11T04:45:00.647476Z"
+    },
+    "verifier": {
+        "started_at": "2026-11-11T04:45:03.296890Z",
+        "finished_at": "2026-11-11T04:45:07.960084Z"
+    },
+    "step_results": null
+}

+ 1 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/verifier/reward.txt

@@ -0,0 +1 @@
+1

+ 1 - 0
code/extra14_rl_env/sample-jobs/codex-luna-v4/v4__8M3PRNU/verifier/test-stdout.txt

@@ -0,0 +1 @@
+Outputs meet the task requirements.

+ 0 - 8
code/extra14_rl_env/synth/seeds.json

@@ -1,8 +0,0 @@
-[
-  {"id": "refund", "event": "refund", "meaning": "退款,应从总额中扣除", "multiplier": -1},
-  {"id": "cancelled", "event": "cancelled", "meaning": "已取消的订单,不计入总额", "multiplier": 0},
-  {"id": "promo", "event": "promo", "meaning": "促销翻倍订单,按金额的两倍计入", "multiplier": 2},
-  {"id": "voided", "event": "voided", "meaning": "已作废的订单,不计入总额", "multiplier": 0},
-  {"id": "no-bug", "event": "reorder", "meaning": "补单,按原金额计入", "multiplier": 1},
-  {"id": "bad-solution", "event": "subsidy", "meaning": "补贴单,按金额的一半计入", "multiplier": 0.5, "solution_multiplier": -0.5}
-]

+ 0 - 204
code/extra14_rl_env/synth/synthesize.py

@@ -1,204 +0,0 @@
-"""从种子批量生成 Harbor 任务,再逐个过门禁。
-
-真实流水线里,“设计任务”和“写任务包”通常由 LLM 完成。这里用模板代替,
-不需要 API key,重点放在门禁:坏任务必须被拦住。
-
-用法:python3 synth/synthesize.py synth/seeds.json
-"""
-import json
-import random
-import shutil
-import sys
-import tempfile
-from pathlib import Path
-
-HERE = Path(__file__).resolve().parent
-sys.path.insert(0, str(HERE.parent))
-from probe import run_trial  # noqa: E402
-
-OUT = HERE / "generated"
-REQUIRED = ["instruction.md", "task.toml", "environment/Dockerfile", "solution/solve.sh", "tests/test.sh"]
-
-TOML = """schema_version = "1.4"
-artifacts = ["/app/stats.py"]
-
-[task]
-name = "hello-agents/stats-{id}"
-version = "1.0.0"
-
-[verifier]
-timeout_sec = 60.0
-environment_mode = "separate"
-
-[agent]
-timeout_sec = 300.0
-
-[environment]
-build_timeout_sec = 300.0
-cpus = 1
-memory_mb = 1024
-storage_mb = 2048
-"""
-DOCKERFILE = "FROM python:3.12-slim\nWORKDIR /app\nCOPY stats.py orders.csv /app/\n"
-STATS = """import csv
-import json
-import sys
-
-MULTIPLIERS = {{"order": 1, "{event}": {multiplier}}}
-
-totals = {{}}
-with open(sys.argv[1], newline="") as f:
-    for row in csv.DictReader(f):
-        amount = float(row["amount"]) * MULTIPLIERS[row["type"]]
-        totals[row["user"]] = totals.get(row["user"], 0) + amount
-print(json.dumps(totals, sort_keys=True))
-"""
-INSTRUCTION = """`/app/stats.py` 读取一份订单 CSV,按用户统计消费总额,并把结果以 JSON 打印到标准输出。
-
-用法:`python3 /app/stats.py <csv路径>`。CSV 的表头是 `user,type,amount`,示例数据在 `/app/orders.csv`。
-
-`type` 为 `{event}` 的行表示{meaning}。现在统计结果不对,请修复 `/app/stats.py`。
-"""
-CHECK = """import json
-import math
-import subprocess
-import sys
-
-cases = json.load(open("/tests/cases.json"))
-passed = 0
-for case in cases:
-    try:
-        out = subprocess.run(
-            [sys.executable, "-I", "/app/stats.py", f"/tests/{case['csv']}"],
-            capture_output=True, text=True, timeout=10, cwd="/tmp",
-        )
-        actual = json.loads(out.stdout)
-        ok = set(actual) == set(case["expected"]) and all(
-            math.isclose(actual[k], v, abs_tol=1e-6) for k, v in case["expected"].items()
-        )
-    except Exception:
-        ok = False
-    print(f"{case['csv']}: {'PASS' if ok else 'FAIL'}")
-    passed += ok
-open("/logs/verifier/reward.txt", "w").write(str(passed / len(cases)))
-"""
-
-
-def make_rows(rng, event):
-    rows = []
-    for user in rng.sample(["ann", "ben", "cai", "dan", "eve"], 2):
-        rows.append((user, "order", rng.randint(20, 200)))
-        rows.append((user, event, rng.randint(1, 19)))
-    return rows
-
-
-def gold(rows, event, multiplier):
-    totals = {}
-    for user, kind, amount in rows:
-        totals[user] = totals.get(user, 0) + amount * (multiplier if kind == event else 1)
-    return totals
-
-
-def to_csv(rows):
-    return "user,type,amount\n" + "".join(f"{u},{k},{a}\n" for u, k, a in rows)
-
-
-def render_task(seed):
-    """把种子渲染成任务目录。答案由程序算出,而不是由作者手写。"""
-    event, multiplier = seed["event"], seed["multiplier"]
-    rng = random.Random(seed["id"])
-    task = OUT / seed["id"]
-    shutil.rmtree(task, ignore_errors=True)
-    for sub in ("environment", "solution", "tests"):
-        (task / sub).mkdir(parents=True)
-
-    public_rows = make_rows(rng, event)
-    (task / "task.toml").write_text(TOML.format(id=seed["id"]))
-    (task / "instruction.md").write_text(INSTRUCTION.format(event=event, meaning=seed["meaning"]))
-    (task / "environment/Dockerfile").write_text(DOCKERFILE)
-    (task / "environment/orders.csv").write_text(to_csv(public_rows))
-    # 待修复的脚本把新事件当普通订单处理
-    (task / "environment/stats.py").write_text(STATS.format(event=event, multiplier=1))
-
-    fixed = STATS.format(event=event, multiplier=seed.get("solution_multiplier", multiplier))
-    (task / "solution/solve.sh").write_text(f"#!/bin/bash\ncat > /app/stats.py <<'PY'\n{fixed}PY\n")
-    (task / "solution/solve.sh").chmod(0o755)
-
-    cases = []
-    for i in range(3):
-        rows = make_rows(rng, event)
-        (task / f"tests/case{i}.csv").write_text(to_csv(rows))
-        cases.append({"csv": f"case{i}.csv", "expected": gold(rows, event, multiplier)})
-    (task / "tests/cases.json").write_text(json.dumps(cases))
-    (task / "tests/check.py").write_text(CHECK)
-    (task / "tests/test.sh").write_text("#!/bin/bash\npython3 /tests/check.py\n")
-    (task / "tests/test.sh").chmod(0o755)
-    return task, gold(public_rows, event, multiplier), cases
-
-
-def static_gate(task, cases):
-    if not all((task / f).exists() for f in REQUIRED):
-        return False
-    # 隐藏用例的答案不能出现在 agent 看得到的文件里
-    public = (task / "instruction.md").read_text() + (task / "environment/orders.csv").read_text()
-    answers = {str(v) for case in cases for v in case["expected"].values()}
-    return not any(answer in public for answer in answers)
-
-
-def shortcut_reward(task, public_answer):
-    """取巧探针:直接打印示例数据的正确答案。"""
-    with tempfile.TemporaryDirectory() as tmp:
-        script = Path(tmp) / "solve.sh"
-        script.write_text(
-            f"#!/bin/bash\ncat > /app/stats.py <<'PY'\nprint({json.dumps(json.dumps(public_answer))})\nPY\n"
-        )
-        return run_trial(task, "oracle", script)
-
-
-def gate(seed, seen):
-    """返回 (各门禁的展示值, 结论)。前一道没过,后面就不再跑。"""
-    row = {"static": "-", "dedup": "-", "oracle": "-", "nop": "-", "shortcut": "-"}
-    task, public_answer, cases = render_task(seed)
-
-    row["static"] = "ok" if static_gate(task, cases) else "FAIL"
-    if row["static"] == "FAIL":
-        return row, "reject: leak or missing file"
-
-    # 按决定任务的东西去重:换个说法、行为相同,仍然算同一道题
-    key = seed["multiplier"]
-    row["dedup"] = "dup" if key in seen else "ok"
-    if key in seen:
-        return row, f"reject: same behavior as {seen[key]}"
-    seen[key] = seed["id"]
-
-    oracle = run_trial(task, "oracle")
-    row["oracle"] = "error" if oracle is None else f"{oracle:.2f}"
-    if oracle != 1.0:
-        return row, "reject: reference solution fails"
-
-    nop = run_trial(task, "nop")
-    row["nop"] = "error" if nop is None else f"{nop:.2f}"
-    if nop != 0.0:
-        return row, "reject: doing nothing scores"
-
-    shortcut = shortcut_reward(task, public_answer)
-    row["shortcut"] = "error" if shortcut is None else f"{shortcut:.2f}"
-    if shortcut != 0.0:
-        return row, "reject: hardcoded answer scores"
-    return row, "accept"
-
-
-def main(seed_file):
-    seeds = json.loads(Path(seed_file).read_text())
-    seen = {}
-    print(f"{'seed':<14}{'static':<8}{'dedup':<7}{'oracle':<8}{'nop':<6}{'shortcut':<10}decision")
-    for seed in seeds:
-        row, decision = gate(seed, seen)
-        print(
-            f"{seed['id']:<14}{row['static']:<8}{row['dedup']:<7}{row['oracle']:<8}"
-            f"{row['nop']:<6}{row['shortcut']:<10}{decision}"
-        )
-
-
-if __name__ == "__main__":
-    main(sys.argv[1])

+ 0 - 4
code/extra14_rl_env/tasks/order-stats-v1/environment/orders.csv

@@ -1,4 +0,0 @@
-user,type,amount
-alice,order,100
-alice,refund,30
-bob,order,50

+ 0 - 16
code/extra14_rl_env/tasks/order-stats-v1/environment/stats.py

@@ -1,16 +0,0 @@
-import csv
-import json
-import sys
-
-
-def main(path):
-    totals = {}
-    with open(path, newline="") as f:
-        for row in csv.DictReader(f):
-            amount = float(row["amount"])
-            totals[row["user"]] = totals.get(row["user"], 0) + amount
-    print(json.dumps(totals, sort_keys=True))
-
-
-if __name__ == "__main__":
-    main(sys.argv[1])

+ 0 - 7
code/extra14_rl_env/tasks/order-stats-v1/instruction.md

@@ -1,7 +0,0 @@
-`/app/stats.py` 读取一份订单 CSV,按用户统计消费总额,并把结果以 JSON 打印到标准输出。
-
-用法:`python3 /app/stats.py <csv路径>`。CSV 的表头是 `user,type,amount`,示例数据在 `/app/orders.csv`。
-
-现在统计结果不对:`type` 为 `refund` 的行表示退款,应该从该用户的总额里扣除,但脚本把它加上去了。
-
-请修复 `/app/stats.py`。

+ 0 - 12
code/extra14_rl_env/tasks/order-stats-v1/solution/solve.sh

@@ -1,12 +0,0 @@
-#!/bin/bash
-set -e
-python3 - <<'PY'
-from pathlib import Path
-
-p = Path("/app/stats.py")
-src = p.read_text()
-old = 'amount = float(row["amount"])\n'
-new = old + '            if row["type"] == "refund":\n                amount = -amount\n'
-assert old in src
-p.write_text(src.replace(old, new))
-PY

+ 0 - 17
code/extra14_rl_env/tasks/order-stats-v1/task.toml

@@ -1,17 +0,0 @@
-schema_version = "1.4"
-
-[task]
-name = "hello-agents/order-stats-v1"
-version = "1.0.0"
-
-[verifier]
-timeout_sec = 60.0
-
-[agent]
-timeout_sec = 300.0
-
-[environment]
-build_timeout_sec = 300.0
-cpus = 1
-memory_mb = 1024
-storage_mb = 2048

+ 0 - 46
code/extra14_rl_env/tasks/order-stats-v1/tests/check.py

@@ -1,46 +0,0 @@
-import json
-import os
-import subprocess
-
-
-def parse_output(text):
-    return json.loads(text)
-
-
-def run_stats():
-    out = subprocess.run(
-        ["python3", "/app/stats.py", "/app/orders.csv"],
-        capture_output=True,
-        text=True,
-    )
-    return parse_output(out.stdout)
-
-
-def check_parser():
-    return parse_output('{"alice": 70.0}') == {"alice": 70.0}
-
-
-def check_data_exists():
-    return os.path.exists("/app/orders.csv")
-
-
-def check_output_is_json():
-    return isinstance(run_stats(), dict)
-
-
-def check_alice_total():
-    return run_stats().get("alice") == 70.0
-
-
-checks = [check_parser, check_data_exists, check_output_is_json, check_alice_total]
-passed = 0
-for check in checks:
-    try:
-        ok = check()
-    except Exception:
-        ok = False
-    print(f"{check.__name__}: {'PASS' if ok else 'FAIL'}")
-    passed += bool(ok)
-
-with open("/logs/verifier/reward.txt", "w") as f:
-    f.write(str(passed / len(checks)))

+ 0 - 2
code/extra14_rl_env/tasks/order-stats-v1/tests/test.sh

@@ -1,2 +0,0 @@
-#!/bin/bash
-python3 /tests/check.py

+ 0 - 4
code/extra14_rl_env/tasks/order-stats-v2/environment/orders.csv

@@ -1,4 +0,0 @@
-user,type,amount
-alice,order,100
-alice,refund,30
-bob,order,50

+ 0 - 16
code/extra14_rl_env/tasks/order-stats-v2/environment/stats.py

@@ -1,16 +0,0 @@
-import csv
-import json
-import sys
-
-
-def main(path):
-    totals = {}
-    with open(path, newline="") as f:
-        for row in csv.DictReader(f):
-            amount = float(row["amount"])
-            totals[row["user"]] = totals.get(row["user"], 0) + amount
-    print(json.dumps(totals, sort_keys=True))
-
-
-if __name__ == "__main__":
-    main(sys.argv[1])

+ 0 - 7
code/extra14_rl_env/tasks/order-stats-v2/instruction.md

@@ -1,7 +0,0 @@
-`/app/stats.py` 读取一份订单 CSV,按用户统计消费总额,并把结果以 JSON 打印到标准输出。
-
-用法:`python3 /app/stats.py <csv路径>`。CSV 的表头是 `user,type,amount`,示例数据在 `/app/orders.csv`。
-
-现在统计结果不对:`type` 为 `refund` 的行表示退款,应该从该用户的总额里扣除,但脚本把它加上去了。
-
-请修复 `/app/stats.py`。

+ 0 - 12
code/extra14_rl_env/tasks/order-stats-v2/solution/solve.sh

@@ -1,12 +0,0 @@
-#!/bin/bash
-set -e
-python3 - <<'PY'
-from pathlib import Path
-
-p = Path("/app/stats.py")
-src = p.read_text()
-old = 'amount = float(row["amount"])\n'
-new = old + '            if row["type"] == "refund":\n                amount = -amount\n'
-assert old in src
-p.write_text(src.replace(old, new))
-PY

+ 0 - 19
code/extra14_rl_env/tasks/order-stats-v2/task.toml

@@ -1,19 +0,0 @@
-schema_version = "1.4"
-artifacts = ["/app/stats.py"]
-
-[task]
-name = "hello-agents/order-stats-v2"
-version = "1.0.0"
-
-[verifier]
-timeout_sec = 60.0
-environment_mode = "separate"
-
-[agent]
-timeout_sec = 300.0
-
-[environment]
-build_timeout_sec = 300.0
-cpus = 1
-memory_mb = 1024
-storage_mb = 2048

+ 0 - 5
code/extra14_rl_env/tasks/order-stats-v2/tests/cases/basic.csv

@@ -1,5 +0,0 @@
-user,type,amount
-dave,order,200
-dave,refund,30
-erin,order,60
-erin,refund,20

Nem az összes módosított fájl került megjelenítésre, mert túl sok fájl változott