Преглед изворни кода

docs: 新增 Extra14 Agent RL 环境入门与合成实战

面向懂 Agent 但不了解 RL 环境的读者,介绍 RL 环境的概念、Harbor 的用法、
verifier 设计、批量合成流程、难度与公平,以及如何接入评测和训练。

配套代码在 code/extra14_rl_env,只需要 Docker,不需要 API key。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Sun Tao пре 2 недеља
родитељ
комит
d5906042a5
49 измењених фајлова са 1285 додато и 0 уклоњено
  1. 705 0
      Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md
  2. BIN
      Extra-Chapter/images/Extra14-figures/01-Agent与RL术语对照.png
  3. BIN
      Extra-Chapter/images/Extra14-figures/02-Harbor-Task目录结构.png
  4. BIN
      Extra-Chapter/images/Extra14-figures/03-Trial生命周期.png
  5. BIN
      Extra-Chapter/images/Extra14-figures/04-两版Verifier实测对比.png
  6. BIN
      Extra-Chapter/images/Extra14-figures/05-批量合成流水线.png
  7. BIN
      Extra-Chapter/images/Extra14-figures/06-难度与公平四象限.png
  8. BIN
      Extra-Chapter/images/Extra14-figures/07-回放还是重跑.png
  9. BIN
      Extra-Chapter/images/Extra14-figures/paper-agent-world-figure2.png
  10. BIN
      Extra-Chapter/images/Extra14-figures/paper-evoenv-figure1.png
  11. BIN
      Extra-Chapter/images/Extra14-figures/web-gymnasium-agent-environment-loop.png
  12. BIN
      Extra-Chapter/images/Extra14-figures/web-harbor-error-classification.png
  13. BIN
      Extra-Chapter/images/Extra14-figures/web-harbor-viewer-verifier.png
  14. BIN
      Extra-Chapter/images/Extra14-figures/web-skyrl-system-overview.png
  15. 2 0
      README.md
  16. 2 0
      README_EN.md
  17. 3 0
      code/extra14_rl_env/.gitignore
  18. 40 0
      code/extra14_rl_env/README.md
  19. 54 0
      code/extra14_rl_env/probe.py
  20. 4 0
      code/extra14_rl_env/probes/mutant_clamp_negative.sh
  21. 3 0
      code/extra14_rl_env/probes/mutant_ignore_refund.sh
  22. 3 0
      code/extra14_rl_env/probes/mutant_truncate.sh
  23. 3 0
      code/extra14_rl_env/probes/shortcut_edit_data.sh
  24. 5 0
      code/extra14_rl_env/probes/shortcut_hardcode.sh
  25. 16 0
      code/extra14_rl_env/probes/variant_rewrite.sh
  26. 8 0
      code/extra14_rl_env/synth/seeds.json
  27. 204 0
      code/extra14_rl_env/synth/synthesize.py
  28. 3 0
      code/extra14_rl_env/tasks/order-stats-v1/environment/Dockerfile
  29. 4 0
      code/extra14_rl_env/tasks/order-stats-v1/environment/orders.csv
  30. 16 0
      code/extra14_rl_env/tasks/order-stats-v1/environment/stats.py
  31. 7 0
      code/extra14_rl_env/tasks/order-stats-v1/instruction.md
  32. 12 0
      code/extra14_rl_env/tasks/order-stats-v1/solution/solve.sh
  33. 17 0
      code/extra14_rl_env/tasks/order-stats-v1/task.toml
  34. 46 0
      code/extra14_rl_env/tasks/order-stats-v1/tests/check.py
  35. 2 0
      code/extra14_rl_env/tasks/order-stats-v1/tests/test.sh
  36. 3 0
      code/extra14_rl_env/tasks/order-stats-v2/environment/Dockerfile
  37. 4 0
      code/extra14_rl_env/tasks/order-stats-v2/environment/orders.csv
  38. 16 0
      code/extra14_rl_env/tasks/order-stats-v2/environment/stats.py
  39. 7 0
      code/extra14_rl_env/tasks/order-stats-v2/instruction.md
  40. 12 0
      code/extra14_rl_env/tasks/order-stats-v2/solution/solve.sh
  41. 19 0
      code/extra14_rl_env/tasks/order-stats-v2/task.toml
  42. 5 0
      code/extra14_rl_env/tasks/order-stats-v2/tests/cases/basic.csv
  43. 3 0
      code/extra14_rl_env/tasks/order-stats-v2/tests/cases/decimals.csv
  44. 3 0
      code/extra14_rl_env/tasks/order-stats-v2/tests/cases/refund_first.csv
  45. 4 0
      code/extra14_rl_env/tasks/order-stats-v2/tests/cases/refund_only.csv
  46. 44 0
      code/extra14_rl_env/tasks/order-stats-v2/tests/check.py
  47. 2 0
      code/extra14_rl_env/tasks/order-stats-v2/tests/test.sh
  48. 2 0
      docs/README.md
  49. 2 0
      docs/README_EN.md

+ 705 - 0
Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md

@@ -0,0 +1,705 @@
+# Agent RL 环境入门:从一个任务目录到批量合成
+
+如果你学过第十一章的 Agentic RL,应该记得 reward 函数长什么样:把模型的答案和标准答案比一比。放到 GSM8K 这种题目上,这样就够了。
+
+真实的 Agent 不太一样。它要修代码、改配置、操作数据库,最后交上来的不是一个答案,而是一个被改过的世界。问题也跟着变了:这个世界现在对不对?谁来判断?Agent 有没有投机取巧?同样的判断能不能重复做?
+
+回答这些问题的那套东西,就是 RL 环境。
+
+这篇写给懂 Agent、但没接触过 RL 环境的读者,不需要强化学习基础。读完你应该能:
+
+- 说清楚 RL 环境是什么,它和评测集、沙箱是什么关系
+- 用 [Harbor](https://github.com/harbor-framework/harbor) 写出一个能跑、判分靠谱的环境
+- 知道批量合成环境的流程,以及最容易在哪里翻车
+
+关于案例:文中的经验来自我们批量合成和审查任务时踩过的坑,都做了脱敏和简化,不对应具体项目。贴出来的运行结果全部来自配套的小任务,你可以自己复现。配套代码在 [code/extra14_rl_env](../code/extra14_rl_env),只需要 Docker,不需要 API key。
+
+---
+
+## 目录
+
+- [第一章:什么都没做,也能拿 0.75 分](#第一章什么都没做也能拿-075-分)
+- [第二章:RL 环境到底是什么](#第二章rl-环境到底是什么)
+- [第三章:Harbor 是什么](#第三章harbor-是什么)
+- [第四章:动手写第一个环境](#第四章动手写第一个环境)
+- [第五章:Verifier 要过四道检查](#第五章verifier-要过四道检查)
+- [第六章:怎么批量合成环境](#第六章怎么批量合成环境)
+- [第七章:难度与公平](#第七章难度与公平)
+- [第八章:接到评测和训练](#第八章接到评测和训练)
+- [这次留下来的经验](#这次留下来的经验)
+- [上线前检查清单](#上线前检查清单)
+- [这一版还没覆盖的内容](#这一版还没覆盖的内容)
+- [参考资料与图片来源](#参考资料与图片来源)
+
+---
+
+## 第一章:什么都没做,也能拿 0.75 分
+
+我们审查任务时碰到过这样一种情况:跑一个什么都不做的空 agent,得分居然不是 0。翻开 verifier 一看,有几条测试根本没运行 agent 的代码,只是在测 verifier 自己的辅助函数,等于固定送分。
+
+这个坑太典型了,我把它还原成一个小任务。任务是修一个订单统计脚本:退款应该从总额里扣除,脚本却把它加上去了。verifier 写了 4 条检查(注释是为了讲解加的):
+
+```python
+def check_parser():          # 只测 verifier 自己的解析函数
+    return parse_output('{"alice": 70.0}') == {"alice": 70.0}
+
+def check_data_exists():     # 只看示例数据还在不在
+    return os.path.exists("/app/orders.csv")
+
+def check_output_is_json():  # 没修的脚本也能输出 JSON
+    return isinstance(run_stats(), dict)
+
+def check_alice_total():     # 只有这一条在测需求
+    return run_stats().get("alice") == 70.0
+```
+
+单看每一条都不算离谱。现在让空 agent 跑一次:
+
+```bash
+harbor run -p tasks/order-stats-v1 -a nop
+```
+
+```text
+check_parser: PASS
+check_data_exists: PASS
+check_output_is_json: PASS
+check_alice_total: FAIL
+
+┏━━━━━━━━┳━━━━━━━┓
+┃ Reward ┃ Count ┃
+┡━━━━━━━━╇━━━━━━━┩
+│ 0.75   │     1 │
+└────────┴───────┘
+```
+
+什么都没做,0.75 分。
+
+如果这是评测,所有模型的分数都被白白抬高了;如果这是训练,模型什么都不学也能拿到大部分奖励。**reward 是 Agent 的学习目标,它错了,后面的一切都会稳定地学错。** 所以 RL 环境值得单独写一章。
+
+---
+
+## 第二章:RL 环境到底是什么
+
+先看经典的强化学习循环。Agent 做一个动作,环境返回观测和奖励,如此往复:
+
+<div align="center">
+  <img src="./images/Extra14-figures/web-gymnasium-agent-environment-loop.png" alt="经典强化学习的 Agent 与环境交互循环" width="48%"/>
+  <p><strong>图 1</strong> 经典 RL 循环。图片来源:<a href="https://github.com/Farama-Foundation/Gymnasium">Gymnasium 文档</a>(MIT 许可证)</p>
+</div>
+
+Gymnasium 把它定义成两个函数,这几乎是 RL 环境的标准接口:
+
+```python
+observation, info = env.reset(seed=42)
+observation, reward, terminated, truncated, info = env.step(action)
+```
+
+这些词你其实都见过,只是在 Agent 的世界里换了个说法:
+
+<div align="center">
+  <img src="./images/Extra14-figures/01-Agent与RL术语对照.png" alt="Agent 术语和 RL 术语的对照" width="88%"/>
+  <p><strong>图 2</strong> 同一件事的两套说法</p>
+</div>
+
+有三个地方初学时很容易想偏。
+
+**第一,多数 Agent 环境只在结束时给一次 reward。** 这和上面的 `step` 不太一样。Agent 可能跑几十步、调几十次工具,中间没有人打分,等它结束后才由 verifier 统一判一次。所以写这类环境时,你通常不用实现 `step`,主要精力都在“最后怎么判”。
+
+**第二,评测集和训练环境常常是同一批任务。** 同样的任务,跑完只看分数就是评测,把轨迹和 reward 喂给训练框架就是 RL,挑出高分轨迹就成了监督学习数据。Harbor 的 README 也把这些用途列在一起:评测 agent、构建自己的 benchmark,以及生成用于 RL 优化的 rollout。
+
+**第三,环境不等于沙箱。** 沙箱只负责隔离。环境还包括任务说明、初始状态和判分逻辑。没有 verifier 的沙箱,只是一台干净的电脑。
+
+什么样的环境算好?我会看这四条:
+
+| 条件 | 意思 | 做不到会怎样 |
+| --- | --- | --- |
+| 可重复 | 同一个任务多跑几次,初始状态和判分标准都不变 | 分数变了,说不清是模型变了还是环境变了 |
+| 隔离 | Agent 碰不到答案和判分逻辑 | 模型学会的是找答案,而不是解题 |
+| 验证比解题容易 | 解题可以很难,判对错要便宜、稳定 | 判分本身不可靠,reward 就成了噪声 |
+| 有区分度 | 不是谁都能过,也不是谁都过不了 | 分数不提供任何信号 |
+
+第三条在 [EvoEnv](https://arxiv.org/abs/2605.14392) 论文里叫 solve-verify asymmetry。排序就是最直观的例子:把一堆数排好可能要费点功夫,检查排得对不对却很简单。
+
+---
+
+## 第三章:Harbor 是什么
+
+[Harbor](https://github.com/harbor-framework/harbor) 是 Terminal-Bench 团队做的开源框架(Apache-2.0),用来在容器里评测和优化 agent。
+
+对入门的人来说,它最省心的地方是不用自己写 `reset` 和 `step`。你把任务打包成一个目录,它负责启动容器、让 agent 跑完、再调用你的判分脚本。Claude Code、Codex CLI 这类命令行 agent 都已经内置支持。
+
+先记住五个词:
+
+| 概念 | 含义 |
+| --- | --- |
+| Task | 一个任务,就是一个目录 |
+| Dataset | 一批任务 |
+| Agent | 完成任务的程序 |
+| Trial | 一个 agent 对一个任务的一次尝试,产出一个 reward |
+| Job | 一批 trial,可以组合多个任务、agent 和模型 |
+
+一个 Task 的目录长这样:
+
+<div align="center">
+  <img src="./images/Extra14-figures/02-Harbor-Task目录结构.png" alt="Harbor Task 的目录结构,以及每个部分谁能接触" width="88%"/>
+  <p><strong>图 3</strong> Task 目录结构</p>
+</div>
+
+判分脚本的约定很简单:把分数写到 `/logs/verifier/reward.txt`,或者把多个分项写到 `reward.json`。
+
+Harbor 还内置了两个特别有用的 agent,全程不调模型,也就不花 API 费用:
+
+- **`oracle`**:运行任务自带的 `solution/solve.sh`,用来证明这道题做得出来
+- **`nop`**:什么也不做,用来证明空解拿不到分
+
+一次 Trial 的过程如下,注意两个容器之间的边界:
+
+<div align="center">
+  <img src="./images/Extra14-figures/03-Trial生命周期.png" alt="一次 Trial 的生命周期,分为 Agent 容器和 Verifier 容器两个阶段" width="88%"/>
+  <p><strong>图 4</strong> 一次 Trial 里发生了什么</p>
+</div>
+
+这就是 Harbor 的 separate verifier 模式:验证时启动一个全新的容器,只放入 `tests/` 和你声明过的 artifacts。用 `harbor init` 新建任务时,默认就是这个模式。
+
+为什么这样设计?我们吃过相反做法的亏。早期有的任务把标准答案直接打进镜像,靠文件权限和非 root 用户来防止 agent 偷看。这条防线选错了地方:答案只要和 agent 待在同一个镜像里,就总有办法漏出去,比如日志、报错信息、打包时带进去的文件。把答案挡在 agent 的容器之外,才是更稳的做法。
+
+最后简单看一下 Harbor 在生态里的位置,这几个项目经常被放在一起讨论:
+
+| 项目 | 定位 |
+| --- | --- |
+| [Gymnasium](https://github.com/Farama-Foundation/Gymnasium) | 经典 RL 的标准环境接口 |
+| [OpenEnv](https://github.com/openenv/OpenEnv) | 面向 agentic RL 的隔离执行环境,提供 Gymnasium 风格的 API |
+| [Prime Intellect verifiers](https://github.com/PrimeIntellect-ai/verifiers) | RL 环境与评测库 |
+| [Harbor](https://github.com/harbor-framework/harbor) | 把任务打包成目录,在容器里运行各种 agent 并打分 |
+| [SkyRL](https://github.com/NovaSky-AI/SkyRL) | 面向 LLM 的全栈 RL 库,负责训练这一侧,可以把 Harbor 当作环境和 reward 来源 |
+
+本篇用 Harbor 来讲。后面讲的判分和合成思路,换到别的框架上同样适用。
+
+---
+
+## 第四章:动手写第一个环境
+
+### 准备
+
+只需要 Docker 和 Harbor。下面的结果都基于 Harbor v0.25.0。
+
+```bash
+uv tool install harbor    # 或者 pip install harbor
+git clone https://github.com/datawhalechina/hello-agents.git
+cd hello-agents/code/extra14_rl_env
+```
+
+### 任务长什么样
+
+第一章的任务就在 `tasks/order-stats-v1`:
+
+```text
+order-stats-v1/
+├── task.toml             # 配置
+├── instruction.md        # agent 看到的任务说明
+├── environment/
+│   ├── Dockerfile
+│   ├── stats.py          # 有 bug 的统计脚本
+│   └── orders.csv        # 示例数据
+├── solution/
+│   └── solve.sh          # 参考解
+└── tests/
+    ├── test.sh           # verifier 入口
+    └── check.py          # 判分逻辑
+```
+
+分别跑一下空解和参考解:
+
+```bash
+harbor run -p tasks/order-stats-v1 -a nop      # 0.75
+harbor run -p tasks/order-stats-v1 -a oracle   # 1.0
+```
+
+结果保存在 `jobs/<时间>/<trial>/` 下,`verifier/reward.txt` 是分数,`verifier/test-stdout.txt` 是判分脚本的输出。
+
+Harbor 自带的静态检查已经看出了一个问题:
+
+```text
+$ harbor lint tasks/order-stats-v1
+tasks/order-stats-v1/task.toml [shared-verifier] Verifier shares the agent sandbox; set verifier.environment_mode = "separate", including shared step overrides.
+```
+
+### 用探针戳一戳 verifier
+
+接下来是我很喜欢的一个小技巧。
+
+既然 `oracle` 只是运行 `solve.sh`,那么换掉 `solve.sh`,就能**不花一分钱模拟各种 agent 行为**。配套的 `probe.py` 就是这么做的,它会跑这几类解法:
+
+- `variant`:另一种正确写法,应该满分
+- `shortcut`:取巧的解法,比如写死示例答案,或者不改代码只改数据,应该 0 分
+- `mutant`:故意改坏一个地方,比如把退款跳过而不是扣除,不应该满分
+
+```bash
+python3 probe.py tasks/order-stats-v1
+```
+
+```text
+probe                   expect  reward  result
+oracle                  == 1    1.00    ok
+nop                     == 0    0.75    WRONG
+mutant_clamp_negative   < 1     1.00    WRONG
+mutant_ignore_refund    < 1     0.75    ok
+mutant_truncate         < 1     1.00    WRONG
+shortcut_edit_data      == 0    1.00    WRONG
+shortcut_hardcode       == 0    1.00    WRONG
+variant_rewrite         == 1    1.00    ok
+
+5 probe(s) judged wrongly
+```
+
+注意 `shortcut_edit_data`:它一行代码都没改,只是把 `orders.csv` 里的退款行抹平,就拿了满分。原因是 verifier 读的正是 agent 可以修改的那份数据。
+
+### 修成 v2
+
+`tasks/order-stats-v2` 改了三件事。
+
+**第一,换成 separate verifier,只把要判的文件带过去。** agent 改的其他东西都带不进验证容器:
+
+```toml
+schema_version = "1.4"
+artifacts = ["/app/stats.py"]
+
+[verifier]
+timeout_sec = 60.0
+environment_mode = "separate"
+```
+
+**第二,判分数据放进 `tests/`,每条用例都含退款行。** agent 看不到这些数据,没修的脚本一条也过不了,写死示例答案也没用:
+
+```python
+CASES = {
+    "refund_is_subtracted": ("basic.csv", {"dave": 170.0, "erin": 40.0}),
+    "refund_only_user_goes_negative": ("refund_only.csv", {"frank": -25.0, "grace": 5.0}),
+    "decimal_amounts": ("decimals.csv", {"heidi": 15.25}),
+    "refund_before_order": ("refund_first.csv", {"ivan": 90.0}),
+}
+```
+
+**第三,每条检查都必须真正运行候选代码。** 另外还有几个细节:
+
+```python
+def run_candidate(csv_path):
+    # -I 让候选代码目录里的同名模块无法劫持解释器
+    out = subprocess.run(
+        [sys.executable, "-I", "/app/stats.py", csv_path],
+        capture_output=True, text=True, timeout=10, cwd="/tmp",
+    )
+    return json.loads(out.stdout)
+
+def matches(actual, expected):
+    if set(actual) != set(expected):
+        return False
+    # 浮点数用容差比较,别因为精度差异冤枉正确答案
+    return all(math.isclose(actual[k], expected[k], abs_tol=1e-6) for k in expected)
+```
+
+同一批探针再跑一遍:
+
+```text
+probe                   expect  reward  result
+oracle                  == 1    1.00    ok
+nop                     == 0    0.00    ok
+mutant_clamp_negative   < 1     0.75    ok
+mutant_ignore_refund    < 1     0.00    ok
+mutant_truncate         < 1     0.75    ok
+shortcut_edit_data      == 0    0.00    ok
+shortcut_hardcode       == 0    0.00    ok
+variant_rewrite         == 1    1.00    ok
+
+0 probe(s) judged wrongly
+```
+
+<div align="center">
+  <img src="./images/Extra14-figures/04-两版Verifier实测对比.png" alt="8 种解法在 v1 和 v2 两版 verifier 上的实测得分对比" width="88%"/>
+  <p><strong>图 5</strong> 同样 8 种解法,v1 判错 5 种,v2 全部判对</p>
+</div>
+
+顺便看 `mutant_clamp_negative` 和 `mutant_truncate`,它们都只丢了一条检查的分(0.75),丢的正好是对应的那一条。这正是我们想要的:**改坏哪里,就只有哪里报错。**
+
+### 看看结果
+
+`harbor view jobs` 会启动一个网页,可以逐步查看轨迹、verifier 输出和 artifacts:
+
+<div align="center">
+  <img src="./images/Extra14-figures/web-harbor-viewer-verifier.png" alt="Harbor 结果查看页面的 Verifier 标签页" width="88%"/>
+  <p><strong>图 6</strong> Harbor 的结果查看页面。图片来源:<a href="https://github.com/harbor-framework/harbor">Harbor 文档</a>(Apache-2.0 许可证),有裁剪</p>
+</div>
+
+想换成真实 agent,把 `-a` 和 `-m` 换掉就行,比如下面这条。这一步需要你自己的 API key,本篇没有跑。
+
+```bash
+harbor run -p tasks/order-stats-v2 -a claude-code -m <模型名>
+```
+
+---
+
+## 第五章:Verifier 要过四道检查
+
+从上一章可以提炼出四道检查,建议每个任务都过一遍:
+
+| 检查 | 期望 | 抓的是什么 |
+| --- | --- | --- |
+| 参考解 | 满分 | 题目做不出来,或者 verifier 写错了 |
+| 空解 | 不得分 | 白送的分数 |
+| 另一种正确写法 | 也能满分 | verifier 太严,只认一种写法 |
+| 单点改坏 | 只有对应的检查失败 | verifier 太松,错了也发现不了 |
+
+很多流程只做前两道。但参考解满分只能说明“有一条路走得通”,空解零分只能说明“躺平拿不到分”,这两条都是必要条件,还不够。后两道才是在检验 verifier 判得准不准。
+
+下面是几个我们真实碰到过的情况。
+
+### 案例:空解拿部分分
+
+有些测试本身没有错,比如检查基线文件还在、网络隔离生效。问题是它们通过时会加分,于是空解也能得分。
+
+我们后来定的规则是:**这类检查通过不得分,不通过扣分。** 写成代码,就是把它们当前置条件:
+
+```python
+# 不好:环境检查和功能检查一起算分
+checks = [check_env_ok, check_baseline_intact, check_feature_a, check_feature_b]
+reward = sum(c() for c in checks) / len(checks)
+
+# 更好:前置条件没过直接 0 分,过了也不加分
+if not (check_env_ok() and check_baseline_intact()):
+    reward = 0.0
+else:
+    feature_checks = [check_feature_a, check_feature_b]
+    reward = sum(c() for c in feature_checks) / len(feature_checks)
+```
+
+有两点要注意。不要为了让空解变成 0 分就删功能测试,那是在掩盖问题。另外,判分脚本要把每条检查的结果都打印出来,不然空解拿了分,你都不知道是哪一条给的。
+
+### 案例:verifier 相信了 agent 能改的东西
+
+只要是 agent 能写的地方,都不能当证据。我们踩过的有这些:
+
+| 表面上 | 实际上 | 修法 |
+| --- | --- | --- |
+| 明明有只读副本 | 测试读的却是 agent 能改的那份 | 只读 `tests/` 里的数据 |
+| 用 pytest 跑测试 | 工作目录里的 `pytest.py`、`sitecustomize.py` 可以劫持它 | 换干净的容器,或者用 `python -I` |
+| 用测试报告算分 | 报告缺失时按退出码推断为通过 | 报告缺失一律按失败处理 |
+| 和快照对比 | 快照是 agent 跑完才拍的 | 快照提前生成,放进 `tests/` |
+
+还有一条流程上的经验。审查报告里,**“实际发生过”和“理论上可能”要分开写**。我们有过这样的情况:审查报告说某个任务可以被攻击,分数可能虚高,可回头查轨迹,这条攻击路径根本没人走过。结构性风险该修,但不能和真实的误判混在一起统计。
+
+### 其他常见错误
+
+| 现象 | 问题在哪 | 怎么改 |
+| --- | --- | --- |
+| 报错写着 `expected X but got Y` | 只要 agent 够得着,这就是一台答案查询机 | 只写哪一项不对,不写期望值 |
+| 任务目录里混进了内部清单和审查笔记 | 这些文件相当于答案,也会被打包带走 | 打包前专门扫描。agent 能读到的,都算公开内容 |
+| 公式声明两项平均,实际结果却等于其中一项 | 聚合代码把 0 分项丢掉了 | 写分数时断言它等于声明的公式 |
+| 测试只要求“报错就行” | 候选代码是因为另一个无关错误才报错的,也算过 | 断言错误的原因,不只断言出错 |
+| 只接受一种合法顺序,或者要求题面没写的字段 | 冤枉了正确答案 | 写进题面,或者放宽判断 |
+
+### Rule 和 Judge 怎么分工
+
+有些东西代码判不了,比如一份报告写得好不好,这时会用 LLM 当 judge。分工原则很简单:**代码能判的,就不要交给 LLM。**
+
+两者的结果怎么合起来,也要想清楚。假设规则检查只过了一小部分,judge 却给了满分,直接平均,分数就被抬高了。Judge 不应该能给没过的事实“洗白”。常见的做法是先过硬门槛,门槛没过就不再看 judge。
+
+只看最终结果也不一定够。[PAE](https://arxiv.org/abs/2603.03116) 论文在 tau-bench 上做了分析:benchmark 报告的成功案例里,有 27–78% 其实存在过程违规,它们管这叫 corrupt success。加上过程门槛之后,模型的排名都变了。如果你的场景很在意过程(比如客服、金融),高风险的违规应该直接判失败,而不是扣一点分。
+
+Harbor 提供了 [Rewardkit](https://github.com/harbor-framework/harbor/tree/main/docs-mintlify/rewardkit),内置了常见的判分条件和 LLM judge,任务复杂时可以直接用,不必从零写。
+
+---
+
+## 第六章:怎么批量合成环境
+
+训练需要足够多、足够不一样的环境,手写跟不上,于是就有了合成。
+
+### 通用流水线
+
+不同领域的做法有差异,但骨架大体相同:
+
+<div align="center">
+  <img src="./images/Extra14-figures/05-批量合成流水线.png" alt="批量合成环境的十步流水线,用颜色区分确定性程序、LLM 和人工判断" width="88%"/>
+  <p><strong>图 7</strong> 批量合成环境的通用流水线</p>
+</div>
+
+这张图的重点是颜色。**出题可以放手交给 LLM,判断“这题合不合格”要尽量靠确定性程序**,最后再由独立的审查和人工把关。
+
+学术界也有类似的工作,这两篇值得一读。
+
+[Agent-World](https://arxiv.org/abs/2604.18292) 从真实主题出发,挖掘数据库、生成并验证工具,再合成可验证的任务。它讲了两种合成方法:graph-based 先得到一条合法的工具调用序列,再反推用户问题;programmatic 则直接写解题代码,用来覆盖条件分支、循环这类线性序列表达不了的逻辑。
+
+<div align="center">
+  <img src="./images/Extra14-figures/paper-agent-world-figure2.png" alt="Agent-World 论文中的环境与任务发现流水线" width="92%"/>
+  <p><strong>图 8</strong> Agent-World 的环境与任务发现流水线。图片引自 <a href="https://arxiv.org/abs/2604.18292">Agent-World 论文</a> Figure 2,版权归原作者所有</p>
+</div>
+
+[EvoEnv](https://arxiv.org/abs/2605.14392) 让模型自己写环境,候选环境必须通过一层层校验才能进入训练池:先是 L1–L5 的机械检查,再是语义审查,然后按当前模型校准难度,最后去重。其中 L5 很值得借鉴:参考答案必须得分,而被扰动过的答案、格式错误的答案和类型不对的答案都不能得分,解析过程也不能泄露隐藏答案。这和上一章的四道检查是同一个思路。
+
+<div align="center">
+  <img src="./images/Extra14-figures/paper-evoenv-figure1.png" alt="EvoEnv 论文中的环境合成与准入流程总览" width="92%"/>
+  <p><strong>图 9</strong> EvoEnv 总览,第 4 步是准入校验。图片引自 <a href="https://arxiv.org/abs/2605.14392">EvoEnv 论文</a> Figure 1(CC BY-NC-ND 4.0)</p>
+</div>
+
+### 跑一个最小的合成脚本
+
+配套的 `synth/synthesize.py` 演示了这条流程的骨架。真实流水线里,“写任务包”通常由 LLM 完成;这里用模板代替,这样不需要 API key,重点放在门禁上。
+
+种子长这样,每个种子描述一种业务规则:
+
+```json
+{"id": "refund", "event": "refund", "meaning": "退款,应从总额中扣除", "multiplier": -1}
+```
+
+我故意混进去 3 个有问题的种子,然后运行:
+
+```bash
+python3 synth/synthesize.py synth/seeds.json
+```
+
+```text
+seed          static  dedup  oracle  nop   shortcut  decision
+refund        ok      ok     1.00    0.00  0.00      accept
+cancelled     ok      ok     1.00    0.00  0.00      accept
+promo         ok      ok     1.00    0.00  0.00      accept
+voided        ok      dup    -       -     -         reject: same behavior as cancelled
+no-bug        ok      ok     1.00    1.00  -         reject: doing nothing scores
+bad-solution  ok      ok     0.00    -     -         reject: reference solution fails
+```
+
+三个问题种子都被拦下来了:
+
+- **`voided`**:换了个说法,行为和 `cancelled` 完全一样,算重复
+- **`no-bug`**:题目本身没有 bug,空解直接满分
+- **`bad-solution`**:参考解和判分标准对不上
+
+还有一个细节:隐藏用例的答案由 `gold()` 函数算出来,而不是由作者手写。能用程序算答案的地方,都尽量这么做。
+
+### 案例:修复漂移
+
+这是我们印象最深的一个坑。
+
+任务生成之后,如果 oracle 没过,流程会让 agent 自动修。我们当时写的修复目标是“让 reward 变成 1”,可改的范围也没限制好,而任务、参考解和测试本来就出自同一个 agent。结果就是,分数上去了,verifier 和任务说明却慢慢对不上了。它修出了一个自洽的世界,只是这个世界已经不是题面说的那个了。
+
+后来我们定了两条规则:
+
+- **`instruction.md` 是唯一的真相。** Agent 能看到的只有题面,所以判分要以题面为准。任何中间产物,比如生成流程自己写的合同文档,都不能凌驾于题面之上。
+- **修复的目标不能是分数。** 修复时必须读题面,并且要限定能改什么。
+
+### 案例:oracle 的盲区
+
+Oracle 通过,只能证明这条参考路径走得通。如果参考解走了一条 agent 没有的捷径,这个证明就没什么用了。
+
+我们见过这几种情况:
+
+- GUI 任务的参考解直接调应用的 API,全部通过,却完全没证明点界面能不能做到
+- 多服务任务的参考解直接访问后端,绕过了 agent 实际使用的工具
+- 策略对话任务的参考解直接注入标准动作,没读过知识库,后来真实 agent 跑起来才发现,知识库里写的日期格式和标准答案根本不一样,有些枚举值也没有写在文档里
+
+所以**参考解要走 agent 能走的路**。对于知识类任务,还要多问一句:一个老实读文档的 agent,能不能学到标准答案?
+
+### 其他教训
+
+| 教训 | 说明 |
+| --- | --- |
+| 修复次数要设上限 | 一直修下去,每轮的产出会越来越少,测试却越写越长。修不好就重新设计,或者淘汰 |
+| 修不动时换证据来源 | 反复往测试里加关键词没用。缺的通常是独立的期望值来源,或者正确变体和单点改坏这类反例 |
+| 不要信作者的自我报告 | 让生成任务的 agent 自己说“已修好”并不可靠。要有独立的审查和实际运行结果 |
+| 按决定任务的东西去重 | 换个说法、行为相同,还是同一道题。文本相似度只能当线索 |
+| 已有题解不要放在作者旁边 | 让作者 agent 能读到已有任务和答案,它就会照着抄 |
+| 在目标环境上验证 | 本地 Docker 全过,不代表目标沙箱能过。代理、证书、内核差异都可能带来一批失败 |
+| mock 要测错误路径 | 只比较正常路径的 GET 响应,会漏掉很多差异。错误码、各种 HTTP 方法、写操作和完整的创建删除流程都要覆盖 |
+
+不同类型的环境,判分方式和常见的坑也不一样:
+
+| 环境类型 | 通常怎么判分 | 最容易踩的坑 |
+| --- | --- | --- |
+| 终端、代码 | 跑测试,检查最终状态 | 测试太松,或者只认一种写法 |
+| 多服务 mock | 比较服务状态的变化 | mock 和真实 API 行为不一致 |
+| 办公文档 | 规则检查加 LLM 评审 | 为了迁就结果去调权重 |
+| GUI、Web | 检查产物,再到界面里复核 | 参考解走 API,证明不了界面能操作 |
+| 策略对话 | 回放参考动作,比较数据库状态 | 知识库里其实查不到标准答案 |
+
+---
+
+## 第七章:难度与公平
+
+有了能判对错的环境,下一个问题是:它有没有用?
+
+如果所有模型都能满分,或者都是 0 分,这个环境就提供不了信号。EvoEnv 的准入条件很直白:通过率必须在 0 和 1 之间。它把目标通过率设在 0.3 左右,让当前模型既能拿到一些正反馈,又还有提升空间。这是那篇论文的设定,不是通用标准,但思路值得参考。
+
+不过比难度更重要的是公平:
+
+<div align="center">
+  <img src="./images/Extra14-figures/06-难度与公平四象限.png" alt="按是否公平和是否有区分度划分的四个象限" width="88%"/>
+  <p><strong>图 10</strong> 先问公平不公平,再谈难度</p>
+</div>
+
+| 提高难度的正当做法 | 不该用的做法 |
+| --- | --- |
+| 在已公开的输入范围内,增加边界值和随机用例 | 考题面没写的公式、隐藏数据格式 |
+| 检查题面写了、但之前没测的性质 | 检查类名、源码字符串,或者某个模型的习惯写法 |
+| 真实的系统上下文,需要跨模块定位问题 | 只是堆更多文件和数据,或者把题面写模糊 |
+| 多个来源相互冲突,题面写明谁说了算 | 依赖不可达的工具、随机的网络失败 |
+| 全局约束,让贪心解法行不通 | 看着某个模型的代码来针对性出题 |
+
+下面几个判断,都是我们在真实审查中反复碰到的。这里的“强模型”“弱模型”只表示相对能力。
+
+**修 bug 不等于提难度。** 强模型和弱模型都只差一条检查,这条检查是在卡代码形式,我们把它换成了行为检查。这是正确的修复,但两个模型都会因此通过,难度并没有提高。这两件事要分开记录,否则你会以为任务变难了。
+
+**先审失败,再算区分度。** 弱模型分数偏低,看起来区分度很好。逐条看失败才发现,全部都是 verifier 误判,有一条匹配规则连题面自己的措辞都不认。修好之后这个任务就不再达标了,但这才是真实情况,只能接受。
+
+**不能为了区分度删掉唯一失败的测试。** 如果强模型只因为一条测试没满分,删掉它就能达标,这很诱人。但如果这条测试考的是题面的核心要求,删掉就是不公平。两个模型都犯同一个核心错误时,也没法只给其中一个放宽。
+
+**在公开要求之内加强,是可以的。** 如果弱模型也能全过,可以对比它的产物和题面,找真实的缺口。比如题面写了取整规则,但测试没覆盖刚好在中点的值,那就加一个。加完记得让参考解也重新验证一遍。而如果公开要求里已经找不到缺口,就老实承认“公平,但没有区分度”,不要硬加隐藏要求。
+
+**“太简单”通常不是 verifier 的问题。** 有一批任务反复调难度都没效果。逐个审查后发现,主要原因是任务在生成时压缩掉了真实系统的复杂度,或者丢掉了种子本来难的地方,有的甚至在任务里泄露了问题根因。这时候继续调 verifier 没用,要回到种子和环境上。一个本来就很简单的种子,再怎么包装也变不难,不如换掉。
+
+**数字再漂亮,证据脏了也不算数。** 有一次弱模型全失败、强模型能通过,数字非常理想。后来发现环境里留着修复用的脚手架,轨迹已经被污染了。修好环境后,旧的轨迹都不能再用,只能重跑。
+
+---
+
+## 第八章:接到评测和训练
+
+任务写好了,要批量跑起来。这里有三件事容易出错。
+
+### 不是所有失败都算 agent 的
+
+沙箱没启动、模型 API 被限流,这些都不是 agent 的能力问题。把它们算成 0 分,会污染评测,也会污染训练。
+
+Harbor 用 `reward_valid` 来区分这一点:
+
+<div align="center">
+  <img src="./images/Extra14-figures/web-harbor-error-classification.png" alt="Harbor 判断 reward 是否有效的决策流程图" width="72%"/>
+  <p><strong>图 11</strong> Harbor 如何判断 reward 是否有效。图片来源:<a href="https://github.com/harbor-framework/harbor/blob/main/docs-mintlify/jobs/error-classification.mdx">Harbor 文档</a>(Apache-2.0 许可证)</p>
+</div>
+
+| 情况 | 例子 | 是否判分 | reward 是否有效 |
+| --- | --- | --- | --- |
+| agent 自己的问题 | 超时、上下文超长 | 判 | 有效,0 分也算数 |
+| 环境没起来 | 沙箱构建失败、健康检查失败 | 不判 | 无效 |
+| 模型服务出问题 | API 限流、连接中断 | 判 | 无效 |
+
+注意,0 分也可能是有效的信号。
+
+这种分类自己做的话,两个方向都可能出错。我们遇到过 mock 服务不健康被当成偶发故障重跑,直到多个任务接连失败,才开始怀疑是镜像本身的问题。也遇到过相反的情况:明明是任务格式错误,却被归类成可以重跑的基础设施问题。所以分类逻辑本身也要测试,而且两个方向都要测。
+
+### 回放还是重跑
+
+改了任务之后,旧的分数还能不能用?
+
+<div align="center">
+  <img src="./images/Extra14-figures/07-回放还是重跑.png" alt="根据修改内容决定回放还是重跑的决策树" width="88%"/>
+  <p><strong>图 12</strong> 改完任务之后,回放还是重跑</p>
+</div>
+
+只改 verifier 时可以回放。我实测了一次:故意把 v2 的一条期望值写错,参考解只拿到 0.75,修好 verifier 后用旧结果回放,不用再跑 agent。
+
+```bash
+harbor job regrade jobs/<job目录> -p tasks/order-stats-v2
+```
+
+```text
+Regrade delta over 1 trial(s): 1 changed (1 up, 0 down), mean reward 0.750 → 1.000
+```
+
+回放依赖 separate verifier 和 artifacts:verifier 需要的所有文件,当初都得收集下来。这件事要在跑之前就想好,**老数据是补不回来的**。
+
+还有一条底线:改了 agent 能看到的东西,就要让所有模型都在新版本上重跑。只重跑一个模型,或者把不同版本的分数放在一起比,都不公平。同样的道理,也不能把历史运行里通过的结果拼进当前成绩,这样的分数不代表任何一次真实运行。
+
+### 接到训练框架
+
+环境是 reward 的来源,真正的训练交给 RL 框架。以 SkyRL 为例,它的官方文档专门讲了 [Harbor 集成](https://github.com/NovaSky-AI/SkyRL/blob/main/docs/content/docs/harbor/index.mdx),把 Harbor 用作训练时的环境和 reward 来源:SkyRL 负责生成模型输出,Harbor 负责在沙箱里运行 agent 并验证结果,得到的 reward 再用来更新模型。
+
+<div align="center">
+  <img src="./images/Extra14-figures/web-skyrl-system-overview.png" alt="SkyRL 系统架构图,Environment 为 Generator 提供观测和奖励" width="80%"/>
+  <p><strong>图 13</strong> 环境在训练系统里的位置:右下角的 Environment 提供观测和奖励。图片来源:<a href="https://github.com/NovaSky-AI/SkyRL">SkyRL 文档</a>(Apache-2.0 许可证)</p>
+</div>
+
+训练本身的内容不再展开,可以接着看[第十一章](../docs/chapter11/第十一章%20Agentic-RL.md)和 [Extra12 旅行助手后训练实战](./Extra12-旅行助手后训练实战.md)。
+
+---
+
+## 这次留下来的经验
+
+1. **reward 是学习目标。** 它错了,后面的一切都会稳定地学错。
+2. **Agent 能写的地方都不是证据,能读的地方都算公开。** 不要指望靠约定保密。
+3. **参考解满分、空解零分只是必要条件。** 还要有正确变体和单点改坏这两类反例。
+4. **题面是唯一的真相。** 太严可以,但要和题面对得上。
+5. **出题可以交给 LLM,判卷尽量用程序。** 让 LLM 判的部分要有明确的标准。
+6. **修复要有上限,目标不能是分数。** 否则修出来的只是一个自洽的错误。
+7. **先问公平,再谈难度。** 难度应该来自真实的复杂度,而不是隐藏要求。
+8. **改了什么决定回放还是重跑。** 不同版本的分数不要混在一起。
+
+---
+
+## 上线前检查清单
+
+**任务本身**
+
+- [ ] 题面写清了输入、输出和判断标准,判分用到的要求都能在题面找到
+- [ ] 参考解走的是 agent 能走的路
+- [ ] 同样的任务多跑几次,初始状态和判分结果一致
+
+**判分**
+
+- [ ] 参考解满分,空解不得分
+- [ ] 另一种正确写法也能满分
+- [ ] 单点改坏时,只有对应的检查失败
+- [ ] 每条计分的检查都真正运行了候选代码
+- [ ] 判分数据不在 agent 能修改的地方
+- [ ] 报错和日志不包含期望值
+- [ ] 最终分数和声明的公式一致
+
+**隔离和打包**
+
+- [ ] 使用 separate verifier,并声明了判分需要的 artifacts
+- [ ] 答案、参考解、内部笔记都不在 agent 能读到的地方
+- [ ] `harbor lint` 没有报错
+
+**批量运行**
+
+- [ ] 基础设施失败不计入 reward
+- [ ] 失败都审查过原因,确认是能力差距,而不是误判或环境问题
+- [ ] 同一张对比表里的分数都来自同一个任务版本
+
+---
+
+## 这一版还没覆盖的内容
+
+这是一个基础版本,下面这些内容后续可以继续补充:
+
+- 把 HelloAgents 接入 Harbor,用真实模型跑一遍配套任务
+- 真正用 LLM 生成任务包的 prompt 设计和质量对比
+- 多服务 mock、GUI 这类复杂环境的完整搭建过程
+- Rewardkit 和 LLM judge 的详细用法
+
+---
+
+## 参考资料与图片来源
+
+**项目与文档**
+
+- [Harbor](https://github.com/harbor-framework/harbor),以及 [Harbor Cookbook](https://github.com/harbor-framework/harbor-cookbook),里面有多容器、多步骤、MCP 工具等更完整的示例
+- [Gymnasium](https://github.com/Farama-Foundation/Gymnasium)
+- [OpenEnv](https://github.com/openenv/OpenEnv)
+- [Prime Intellect verifiers](https://github.com/PrimeIntellect-ai/verifiers)
+- [SkyRL](https://github.com/NovaSky-AI/SkyRL)
+
+**论文**
+
+- [Learning to Build the Environment: Self-Evolving Reasoning RL via Verifiable Environment Synthesis](https://arxiv.org/abs/2605.14392)(EvoEnv)
+- [Agent-World: Scaling Real-World Environment Synthesis for Evolving General Agent Intelligence](https://arxiv.org/abs/2604.18292)
+- [Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation](https://arxiv.org/abs/2603.03116)(PAE)
+
+**图片来源**
+
+图 2、3、4、5、7、10、12 为本章原创。其余图片的来源如下,版权归原作者所有:
+
+| 图 | 来源 | 许可 |
+| --- | --- | --- |
+| 图 1 | [Gymnasium 文档](https://github.com/Farama-Foundation/Gymnasium) | MIT |
+| 图 6 | [Harbor 文档](https://github.com/harbor-framework/harbor),有裁剪 | Apache-2.0 |
+| 图 8 | [Agent-World 论文](https://arxiv.org/abs/2604.18292) Figure 2 | 学术引用 |
+| 图 9 | [EvoEnv 论文](https://arxiv.org/abs/2605.14392) Figure 1 | CC BY-NC-ND 4.0 |
+| 图 11 | [Harbor 文档](https://github.com/harbor-framework/harbor/blob/main/docs-mintlify/jobs/error-classification.mdx) | Apache-2.0 |
+| 图 13 | [SkyRL 文档](https://github.com/NovaSky-AI/SkyRL) | Apache-2.0 |

BIN
Extra-Chapter/images/Extra14-figures/01-Agent与RL术语对照.png


BIN
Extra-Chapter/images/Extra14-figures/02-Harbor-Task目录结构.png


BIN
Extra-Chapter/images/Extra14-figures/03-Trial生命周期.png


BIN
Extra-Chapter/images/Extra14-figures/04-两版Verifier实测对比.png


BIN
Extra-Chapter/images/Extra14-figures/05-批量合成流水线.png


BIN
Extra-Chapter/images/Extra14-figures/06-难度与公平四象限.png


BIN
Extra-Chapter/images/Extra14-figures/07-回放还是重跑.png


BIN
Extra-Chapter/images/Extra14-figures/paper-agent-world-figure2.png


BIN
Extra-Chapter/images/Extra14-figures/paper-evoenv-figure1.png


BIN
Extra-Chapter/images/Extra14-figures/web-gymnasium-agent-environment-loop.png


BIN
Extra-Chapter/images/Extra14-figures/web-harbor-error-classification.png


BIN
Extra-Chapter/images/Extra14-figures/web-harbor-viewer-verifier.png


BIN
Extra-Chapter/images/Extra14-figures/web-skyrl-system-overview.png


+ 2 - 0
README.md

@@ -94,6 +94,7 @@
 | [11-WebAgent科普与实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra11-WebAgent科普与实战.md) | Web Agent 原理、反爬实战与 HelloAgents 集成 |
 | [12-旅行助手后训练实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra12-旅行助手后训练实战.md) | 把旅行助手 Demo 打磨成能用的 Planner |
 | [13-Hello-Agents视频课录制共创](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra13-Hello-Agents视频课录制共创.md) | 视频课程共创录制资源 |
+| [14-Agent RL环境入门与合成实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) | Agent RL 环境概念、Harbor 实战与批量合成 |
 
 ### PDF 版本下载
 
@@ -165,6 +166,7 @@
 - [殷鑫-个人开发者](https://github.com/vinci-grape) (浙江大学, Extra10 内容贡献)
 - [Pranav Janakiraman-个人开发者](https://github.com/pranavjana) (TinyFish, Extra11 内容贡献)
 - [王雨飞-个人开发者](https://github.com/nameless0120) (北京邮电大学,Extra12 内容贡献)
+- [fengju0213](https://github.com/fengju0213) (Extra14 内容贡献)
 
 ### 视频课程贡献者
 

+ 2 - 0
README_EN.md

@@ -94,6 +94,7 @@ If you wish to read locally or contribute content, please refer to the learning
 | [11-Web Agent: Principles and Practice](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra11-WebAgent科普与实战.md) | Web Agent principles, anti-bot practice, and HelloAgents integration |
 | [12-Trip Planner Post-Training in Practice](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra12-旅行助手后训练实战.md) | Turning a trip-planner demo into a usable planner |
 | [13-Hello-Agents Video Course Co-creation](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra13-Hello-Agents视频课录制共创.md) | Video course co-creation recording resources |
+| [14-Agent RL Environments: Basics and Synthesis](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) | Agent RL environment concepts, Harbor hands-on, and batch synthesis |
 
 ### PDF Version Download
 
@@ -154,6 +155,7 @@ We are an open-source community and welcome any form of contribution!
 - [Yin Xin - Individual Developer](https://github.com/vinci-grape) (Zhejiang University, Extra10 content contribution)
 - [Pranav Janakiraman - Individual Developer](https://github.com/pranavjana) (TinyFish, Extra11 content contribution)
 - [Wang Yufei - Individual Developer](https://github.com/nameless0120) (Beijing University of Posts and Telecommunications, Extra12 content contribution)
+- [fengju0213](https://github.com/fengju0213) (Extra14 content contribution)
 
 ### Video Course Contributors
 

+ 3 - 0
code/extra14_rl_env/.gitignore

@@ -0,0 +1,3 @@
+jobs/
+synth/generated/
+__pycache__/

+ 40 - 0
code/extra14_rl_env/README.md

@@ -0,0 +1,40 @@
+# Extra14 配套代码:Agent RL 环境入门
+
+配合 [Extra14](../../Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) 使用。只需要 Docker 和 [Harbor](https://github.com/harbor-framework/harbor),不需要 API key。
+
+```bash
+uv tool install harbor
+```
+
+## 内容
+
+| 路径 | 说明 |
+| --- | --- |
+| `tasks/order-stats-v1` | 故意写坏的 verifier,空解也能拿分 |
+| `tasks/order-stats-v2` | 修好的版本 |
+| `probes/` | 用来测试 verifier 的各种解法:正确变体、取巧解、单点改坏 |
+| `probe.py` | 用 `oracle` agent 依次运行这些解法,检查 verifier 会不会判错 |
+| `synth/` | 最小合成脚本:从种子生成任务,再逐个过门禁 |
+
+## 运行
+
+```bash
+# 跑单个任务
+harbor run -p tasks/order-stats-v1 -a nop
+harbor run -p tasks/order-stats-v1 -a oracle
+
+# 静态检查
+harbor lint tasks/order-stats-v1
+
+# 对比两版 verifier
+python3 probe.py tasks/order-stats-v1
+python3 probe.py tasks/order-stats-v2
+
+# 批量合成并过门禁,任务生成在 synth/generated/
+python3 synth/synthesize.py synth/seeds.json
+
+# 只改 verifier 时,用旧结果回放
+harbor job regrade jobs/<job目录> -p tasks/order-stats-v2
+```
+
+已在 Harbor v0.25.0 上验证。

+ 54 - 0
code/extra14_rl_env/probe.py

@@ -0,0 +1,54 @@
+"""用 oracle agent 跑不同的 solve.sh,检查 verifier 会不会判错。
+
+用法:python3 probe.py tasks/order-stats-v2
+"""
+import shutil
+import subprocess
+import sys
+import tempfile
+from pathlib import Path
+
+HERE = Path(__file__).parent
+
+
+def expectation(name):
+    if name in ("oracle", "variant_rewrite"):
+        return "== 1", lambda r: r == 1.0
+    if name == "nop" or name.startswith("shortcut"):
+        return "== 0", lambda r: r == 0.0
+    return "< 1", lambda r: r < 1.0
+
+
+def run_trial(task_dir, agent, solve_script=None):
+    with tempfile.TemporaryDirectory() as tmp:
+        task = Path(tmp) / task_dir.name
+        shutil.copytree(task_dir, task)
+        if solve_script:
+            shutil.copy(solve_script, task / "solution" / "solve.sh")
+        jobs = Path(tmp) / "jobs"
+        subprocess.run(
+            ["harbor", "run", "-p", str(task), "-a", agent, "-o", str(jobs), "-y", "-q"],
+            capture_output=True,
+        )
+        rewards = list(jobs.glob("*/*/verifier/reward.txt"))
+        return float(rewards[0].read_text()) if rewards else None
+
+
+def main(task_dir):
+    probes = [("oracle", "oracle", None), ("nop", "nop", None)]
+    probes += [(p.stem, "oracle", p) for p in sorted((HERE / "probes").glob("*.sh"))]
+    print(f"{'probe':<24}{'expect':<8}{'reward':<8}result")
+    failures = 0
+    for name, agent, script in probes:
+        reward = run_trial(task_dir, agent, script)
+        rule, ok = expectation(name)
+        good = reward is not None and ok(reward)
+        failures += not good
+        shown = "error" if reward is None else f"{reward:.2f}"
+        print(f"{name:<24}{rule:<8}{shown:<8}{'ok' if good else 'WRONG'}")
+    print(f"\n{failures} probe(s) judged wrongly")
+    return 1 if failures else 0
+
+
+if __name__ == "__main__":
+    sys.exit(main(Path(sys.argv[1]).resolve()))

+ 4 - 0
code/extra14_rl_env/probes/mutant_clamp_negative.sh

@@ -0,0 +1,4 @@
+#!/bin/bash
+# 单点改坏:退款正确,但总额被截断到 0 以上
+sed -i 's/amount = float(row\["amount"\])/amount = float(row["amount"]) * (-1 if row["type"] == "refund" else 1)/' /app/stats.py
+sed -i 's/print(json.dumps(totals, sort_keys=True))/print(json.dumps({k: max(v, 0.0) for k, v in totals.items()}, sort_keys=True))/' /app/stats.py

+ 3 - 0
code/extra14_rl_env/probes/mutant_ignore_refund.sh

@@ -0,0 +1,3 @@
+#!/bin/bash
+# 单点改坏:把退款行跳过,而不是扣除
+sed -i 's/amount = float(row\["amount"\])/amount = 0.0 if row["type"] == "refund" else float(row["amount"])/' /app/stats.py

+ 3 - 0
code/extra14_rl_env/probes/mutant_truncate.sh

@@ -0,0 +1,3 @@
+#!/bin/bash
+# 单点改坏:退款正确,但金额被截断成整数
+sed -i 's/amount = float(row\["amount"\])/amount = int(float(row["amount"])) * (-1 if row["type"] == "refund" else 1)/' /app/stats.py

+ 3 - 0
code/extra14_rl_env/probes/shortcut_edit_data.sh

@@ -0,0 +1,3 @@
+#!/bin/bash
+# 取巧:不改代码,改数据,把退款行抹平,应当 0 分
+printf 'user,type,amount\nalice,order,70\nbob,order,50\n' > /app/orders.csv

+ 5 - 0
code/extra14_rl_env/probes/shortcut_hardcode.sh

@@ -0,0 +1,5 @@
+#!/bin/bash
+# 取巧:直接打印示例数据的正确答案,应当 0 分
+cat > /app/stats.py <<'PY'
+print('{"alice": 70.0, "bob": 50.0}')
+PY

+ 16 - 0
code/extra14_rl_env/probes/variant_rewrite.sh

@@ -0,0 +1,16 @@
+#!/bin/bash
+# 另一种正确写法:应当满分
+cat > /app/stats.py <<'PY'
+import csv
+import json
+import sys
+from collections import defaultdict
+
+SIGN = {"order": 1, "refund": -1}
+
+totals = defaultdict(float)
+with open(sys.argv[1], newline="") as f:
+    for row in csv.DictReader(f):
+        totals[row["user"]] += SIGN[row["type"]] * float(row["amount"])
+print(json.dumps(totals))
+PY

+ 8 - 0
code/extra14_rl_env/synth/seeds.json

@@ -0,0 +1,8 @@
+[
+  {"id": "refund", "event": "refund", "meaning": "退款,应从总额中扣除", "multiplier": -1},
+  {"id": "cancelled", "event": "cancelled", "meaning": "已取消的订单,不计入总额", "multiplier": 0},
+  {"id": "promo", "event": "promo", "meaning": "促销翻倍订单,按金额的两倍计入", "multiplier": 2},
+  {"id": "voided", "event": "voided", "meaning": "已作废的订单,不计入总额", "multiplier": 0},
+  {"id": "no-bug", "event": "reorder", "meaning": "补单,按原金额计入", "multiplier": 1},
+  {"id": "bad-solution", "event": "subsidy", "meaning": "补贴单,按金额的一半计入", "multiplier": 0.5, "solution_multiplier": -0.5}
+]

+ 204 - 0
code/extra14_rl_env/synth/synthesize.py

@@ -0,0 +1,204 @@
+"""从种子批量生成 Harbor 任务,再逐个过门禁。
+
+真实流水线里,“设计任务”和“写任务包”通常由 LLM 完成。这里用模板代替,
+不需要 API key,重点放在门禁:坏任务必须被拦住。
+
+用法:python3 synth/synthesize.py synth/seeds.json
+"""
+import json
+import random
+import shutil
+import sys
+import tempfile
+from pathlib import Path
+
+HERE = Path(__file__).resolve().parent
+sys.path.insert(0, str(HERE.parent))
+from probe import run_trial  # noqa: E402
+
+OUT = HERE / "generated"
+REQUIRED = ["instruction.md", "task.toml", "environment/Dockerfile", "solution/solve.sh", "tests/test.sh"]
+
+TOML = """schema_version = "1.4"
+artifacts = ["/app/stats.py"]
+
+[task]
+name = "hello-agents/stats-{id}"
+version = "1.0.0"
+
+[verifier]
+timeout_sec = 60.0
+environment_mode = "separate"
+
+[agent]
+timeout_sec = 300.0
+
+[environment]
+build_timeout_sec = 300.0
+cpus = 1
+memory_mb = 1024
+storage_mb = 2048
+"""
+DOCKERFILE = "FROM python:3.12-slim\nWORKDIR /app\nCOPY stats.py orders.csv /app/\n"
+STATS = """import csv
+import json
+import sys
+
+MULTIPLIERS = {{"order": 1, "{event}": {multiplier}}}
+
+totals = {{}}
+with open(sys.argv[1], newline="") as f:
+    for row in csv.DictReader(f):
+        amount = float(row["amount"]) * MULTIPLIERS[row["type"]]
+        totals[row["user"]] = totals.get(row["user"], 0) + amount
+print(json.dumps(totals, sort_keys=True))
+"""
+INSTRUCTION = """`/app/stats.py` 读取一份订单 CSV,按用户统计消费总额,并把结果以 JSON 打印到标准输出。
+
+用法:`python3 /app/stats.py <csv路径>`。CSV 的表头是 `user,type,amount`,示例数据在 `/app/orders.csv`。
+
+`type` 为 `{event}` 的行表示{meaning}。现在统计结果不对,请修复 `/app/stats.py`。
+"""
+CHECK = """import json
+import math
+import subprocess
+import sys
+
+cases = json.load(open("/tests/cases.json"))
+passed = 0
+for case in cases:
+    try:
+        out = subprocess.run(
+            [sys.executable, "-I", "/app/stats.py", f"/tests/{case['csv']}"],
+            capture_output=True, text=True, timeout=10, cwd="/tmp",
+        )
+        actual = json.loads(out.stdout)
+        ok = set(actual) == set(case["expected"]) and all(
+            math.isclose(actual[k], v, abs_tol=1e-6) for k, v in case["expected"].items()
+        )
+    except Exception:
+        ok = False
+    print(f"{case['csv']}: {'PASS' if ok else 'FAIL'}")
+    passed += ok
+open("/logs/verifier/reward.txt", "w").write(str(passed / len(cases)))
+"""
+
+
+def make_rows(rng, event):
+    rows = []
+    for user in rng.sample(["ann", "ben", "cai", "dan", "eve"], 2):
+        rows.append((user, "order", rng.randint(20, 200)))
+        rows.append((user, event, rng.randint(1, 19)))
+    return rows
+
+
+def gold(rows, event, multiplier):
+    totals = {}
+    for user, kind, amount in rows:
+        totals[user] = totals.get(user, 0) + amount * (multiplier if kind == event else 1)
+    return totals
+
+
+def to_csv(rows):
+    return "user,type,amount\n" + "".join(f"{u},{k},{a}\n" for u, k, a in rows)
+
+
+def render_task(seed):
+    """把种子渲染成任务目录。答案由程序算出,而不是由作者手写。"""
+    event, multiplier = seed["event"], seed["multiplier"]
+    rng = random.Random(seed["id"])
+    task = OUT / seed["id"]
+    shutil.rmtree(task, ignore_errors=True)
+    for sub in ("environment", "solution", "tests"):
+        (task / sub).mkdir(parents=True)
+
+    public_rows = make_rows(rng, event)
+    (task / "task.toml").write_text(TOML.format(id=seed["id"]))
+    (task / "instruction.md").write_text(INSTRUCTION.format(event=event, meaning=seed["meaning"]))
+    (task / "environment/Dockerfile").write_text(DOCKERFILE)
+    (task / "environment/orders.csv").write_text(to_csv(public_rows))
+    # 待修复的脚本把新事件当普通订单处理
+    (task / "environment/stats.py").write_text(STATS.format(event=event, multiplier=1))
+
+    fixed = STATS.format(event=event, multiplier=seed.get("solution_multiplier", multiplier))
+    (task / "solution/solve.sh").write_text(f"#!/bin/bash\ncat > /app/stats.py <<'PY'\n{fixed}PY\n")
+    (task / "solution/solve.sh").chmod(0o755)
+
+    cases = []
+    for i in range(3):
+        rows = make_rows(rng, event)
+        (task / f"tests/case{i}.csv").write_text(to_csv(rows))
+        cases.append({"csv": f"case{i}.csv", "expected": gold(rows, event, multiplier)})
+    (task / "tests/cases.json").write_text(json.dumps(cases))
+    (task / "tests/check.py").write_text(CHECK)
+    (task / "tests/test.sh").write_text("#!/bin/bash\npython3 /tests/check.py\n")
+    (task / "tests/test.sh").chmod(0o755)
+    return task, gold(public_rows, event, multiplier), cases
+
+
+def static_gate(task, cases):
+    if not all((task / f).exists() for f in REQUIRED):
+        return False
+    # 隐藏用例的答案不能出现在 agent 看得到的文件里
+    public = (task / "instruction.md").read_text() + (task / "environment/orders.csv").read_text()
+    answers = {str(v) for case in cases for v in case["expected"].values()}
+    return not any(answer in public for answer in answers)
+
+
+def shortcut_reward(task, public_answer):
+    """取巧探针:直接打印示例数据的正确答案。"""
+    with tempfile.TemporaryDirectory() as tmp:
+        script = Path(tmp) / "solve.sh"
+        script.write_text(
+            f"#!/bin/bash\ncat > /app/stats.py <<'PY'\nprint({json.dumps(json.dumps(public_answer))})\nPY\n"
+        )
+        return run_trial(task, "oracle", script)
+
+
+def gate(seed, seen):
+    """返回 (各门禁的展示值, 结论)。前一道没过,后面就不再跑。"""
+    row = {"static": "-", "dedup": "-", "oracle": "-", "nop": "-", "shortcut": "-"}
+    task, public_answer, cases = render_task(seed)
+
+    row["static"] = "ok" if static_gate(task, cases) else "FAIL"
+    if row["static"] == "FAIL":
+        return row, "reject: leak or missing file"
+
+    # 按决定任务的东西去重:换个说法、行为相同,仍然算同一道题
+    key = seed["multiplier"]
+    row["dedup"] = "dup" if key in seen else "ok"
+    if key in seen:
+        return row, f"reject: same behavior as {seen[key]}"
+    seen[key] = seed["id"]
+
+    oracle = run_trial(task, "oracle")
+    row["oracle"] = "error" if oracle is None else f"{oracle:.2f}"
+    if oracle != 1.0:
+        return row, "reject: reference solution fails"
+
+    nop = run_trial(task, "nop")
+    row["nop"] = "error" if nop is None else f"{nop:.2f}"
+    if nop != 0.0:
+        return row, "reject: doing nothing scores"
+
+    shortcut = shortcut_reward(task, public_answer)
+    row["shortcut"] = "error" if shortcut is None else f"{shortcut:.2f}"
+    if shortcut != 0.0:
+        return row, "reject: hardcoded answer scores"
+    return row, "accept"
+
+
+def main(seed_file):
+    seeds = json.loads(Path(seed_file).read_text())
+    seen = {}
+    print(f"{'seed':<14}{'static':<8}{'dedup':<7}{'oracle':<8}{'nop':<6}{'shortcut':<10}decision")
+    for seed in seeds:
+        row, decision = gate(seed, seen)
+        print(
+            f"{seed['id']:<14}{row['static']:<8}{row['dedup']:<7}{row['oracle']:<8}"
+            f"{row['nop']:<6}{row['shortcut']:<10}{decision}"
+        )
+
+
+if __name__ == "__main__":
+    main(sys.argv[1])

+ 3 - 0
code/extra14_rl_env/tasks/order-stats-v1/environment/Dockerfile

@@ -0,0 +1,3 @@
+FROM python:3.12-slim
+WORKDIR /app
+COPY stats.py orders.csv /app/

+ 4 - 0
code/extra14_rl_env/tasks/order-stats-v1/environment/orders.csv

@@ -0,0 +1,4 @@
+user,type,amount
+alice,order,100
+alice,refund,30
+bob,order,50

+ 16 - 0
code/extra14_rl_env/tasks/order-stats-v1/environment/stats.py

@@ -0,0 +1,16 @@
+import csv
+import json
+import sys
+
+
+def main(path):
+    totals = {}
+    with open(path, newline="") as f:
+        for row in csv.DictReader(f):
+            amount = float(row["amount"])
+            totals[row["user"]] = totals.get(row["user"], 0) + amount
+    print(json.dumps(totals, sort_keys=True))
+
+
+if __name__ == "__main__":
+    main(sys.argv[1])

+ 7 - 0
code/extra14_rl_env/tasks/order-stats-v1/instruction.md

@@ -0,0 +1,7 @@
+`/app/stats.py` 读取一份订单 CSV,按用户统计消费总额,并把结果以 JSON 打印到标准输出。
+
+用法:`python3 /app/stats.py <csv路径>`。CSV 的表头是 `user,type,amount`,示例数据在 `/app/orders.csv`。
+
+现在统计结果不对:`type` 为 `refund` 的行表示退款,应该从该用户的总额里扣除,但脚本把它加上去了。
+
+请修复 `/app/stats.py`。

+ 12 - 0
code/extra14_rl_env/tasks/order-stats-v1/solution/solve.sh

@@ -0,0 +1,12 @@
+#!/bin/bash
+set -e
+python3 - <<'PY'
+from pathlib import Path
+
+p = Path("/app/stats.py")
+src = p.read_text()
+old = 'amount = float(row["amount"])\n'
+new = old + '            if row["type"] == "refund":\n                amount = -amount\n'
+assert old in src
+p.write_text(src.replace(old, new))
+PY

+ 17 - 0
code/extra14_rl_env/tasks/order-stats-v1/task.toml

@@ -0,0 +1,17 @@
+schema_version = "1.4"
+
+[task]
+name = "hello-agents/order-stats-v1"
+version = "1.0.0"
+
+[verifier]
+timeout_sec = 60.0
+
+[agent]
+timeout_sec = 300.0
+
+[environment]
+build_timeout_sec = 300.0
+cpus = 1
+memory_mb = 1024
+storage_mb = 2048

+ 46 - 0
code/extra14_rl_env/tasks/order-stats-v1/tests/check.py

@@ -0,0 +1,46 @@
+import json
+import os
+import subprocess
+
+
+def parse_output(text):
+    return json.loads(text)
+
+
+def run_stats():
+    out = subprocess.run(
+        ["python3", "/app/stats.py", "/app/orders.csv"],
+        capture_output=True,
+        text=True,
+    )
+    return parse_output(out.stdout)
+
+
+def check_parser():
+    return parse_output('{"alice": 70.0}') == {"alice": 70.0}
+
+
+def check_data_exists():
+    return os.path.exists("/app/orders.csv")
+
+
+def check_output_is_json():
+    return isinstance(run_stats(), dict)
+
+
+def check_alice_total():
+    return run_stats().get("alice") == 70.0
+
+
+checks = [check_parser, check_data_exists, check_output_is_json, check_alice_total]
+passed = 0
+for check in checks:
+    try:
+        ok = check()
+    except Exception:
+        ok = False
+    print(f"{check.__name__}: {'PASS' if ok else 'FAIL'}")
+    passed += bool(ok)
+
+with open("/logs/verifier/reward.txt", "w") as f:
+    f.write(str(passed / len(checks)))

+ 2 - 0
code/extra14_rl_env/tasks/order-stats-v1/tests/test.sh

@@ -0,0 +1,2 @@
+#!/bin/bash
+python3 /tests/check.py

+ 3 - 0
code/extra14_rl_env/tasks/order-stats-v2/environment/Dockerfile

@@ -0,0 +1,3 @@
+FROM python:3.12-slim
+WORKDIR /app
+COPY stats.py orders.csv /app/

+ 4 - 0
code/extra14_rl_env/tasks/order-stats-v2/environment/orders.csv

@@ -0,0 +1,4 @@
+user,type,amount
+alice,order,100
+alice,refund,30
+bob,order,50

+ 16 - 0
code/extra14_rl_env/tasks/order-stats-v2/environment/stats.py

@@ -0,0 +1,16 @@
+import csv
+import json
+import sys
+
+
+def main(path):
+    totals = {}
+    with open(path, newline="") as f:
+        for row in csv.DictReader(f):
+            amount = float(row["amount"])
+            totals[row["user"]] = totals.get(row["user"], 0) + amount
+    print(json.dumps(totals, sort_keys=True))
+
+
+if __name__ == "__main__":
+    main(sys.argv[1])

+ 7 - 0
code/extra14_rl_env/tasks/order-stats-v2/instruction.md

@@ -0,0 +1,7 @@
+`/app/stats.py` 读取一份订单 CSV,按用户统计消费总额,并把结果以 JSON 打印到标准输出。
+
+用法:`python3 /app/stats.py <csv路径>`。CSV 的表头是 `user,type,amount`,示例数据在 `/app/orders.csv`。
+
+现在统计结果不对:`type` 为 `refund` 的行表示退款,应该从该用户的总额里扣除,但脚本把它加上去了。
+
+请修复 `/app/stats.py`。

+ 12 - 0
code/extra14_rl_env/tasks/order-stats-v2/solution/solve.sh

@@ -0,0 +1,12 @@
+#!/bin/bash
+set -e
+python3 - <<'PY'
+from pathlib import Path
+
+p = Path("/app/stats.py")
+src = p.read_text()
+old = 'amount = float(row["amount"])\n'
+new = old + '            if row["type"] == "refund":\n                amount = -amount\n'
+assert old in src
+p.write_text(src.replace(old, new))
+PY

+ 19 - 0
code/extra14_rl_env/tasks/order-stats-v2/task.toml

@@ -0,0 +1,19 @@
+schema_version = "1.4"
+artifacts = ["/app/stats.py"]
+
+[task]
+name = "hello-agents/order-stats-v2"
+version = "1.0.0"
+
+[verifier]
+timeout_sec = 60.0
+environment_mode = "separate"
+
+[agent]
+timeout_sec = 300.0
+
+[environment]
+build_timeout_sec = 300.0
+cpus = 1
+memory_mb = 1024
+storage_mb = 2048

+ 5 - 0
code/extra14_rl_env/tasks/order-stats-v2/tests/cases/basic.csv

@@ -0,0 +1,5 @@
+user,type,amount
+dave,order,200
+dave,refund,30
+erin,order,60
+erin,refund,20

+ 3 - 0
code/extra14_rl_env/tasks/order-stats-v2/tests/cases/decimals.csv

@@ -0,0 +1,3 @@
+user,type,amount
+heidi,order,19.5
+heidi,refund,4.25

+ 3 - 0
code/extra14_rl_env/tasks/order-stats-v2/tests/cases/refund_first.csv

@@ -0,0 +1,3 @@
+user,type,amount
+ivan,refund,10
+ivan,order,100

+ 4 - 0
code/extra14_rl_env/tasks/order-stats-v2/tests/cases/refund_only.csv

@@ -0,0 +1,4 @@
+user,type,amount
+frank,refund,25
+grace,order,10
+grace,refund,5

+ 44 - 0
code/extra14_rl_env/tasks/order-stats-v2/tests/check.py

@@ -0,0 +1,44 @@
+import json
+import math
+import subprocess
+import sys
+
+# 每条用例都含退款行,没修复的脚本一条也过不了,空解不会白拿分
+CASES = {
+    "refund_is_subtracted": ("basic.csv", {"dave": 170.0, "erin": 40.0}),
+    "refund_only_user_goes_negative": ("refund_only.csv", {"frank": -25.0, "grace": 5.0}),
+    "decimal_amounts": ("decimals.csv", {"heidi": 15.25}),
+    "refund_before_order": ("refund_first.csv", {"ivan": 90.0}),
+}
+
+
+def run_candidate(csv_path):
+    # -I 让候选代码目录里的同名模块无法劫持解释器
+    out = subprocess.run(
+        [sys.executable, "-I", "/app/stats.py", csv_path],
+        capture_output=True,
+        text=True,
+        timeout=10,
+        cwd="/tmp",
+    )
+    return json.loads(out.stdout)
+
+
+def matches(actual, expected):
+    if set(actual) != set(expected):
+        return False
+    return all(math.isclose(actual[k], expected[k], abs_tol=1e-6) for k in expected)
+
+
+passed = 0
+for name, (filename, expected) in CASES.items():
+    try:
+        ok = matches(run_candidate(f"/tests/cases/{filename}"), expected)
+    except Exception:
+        ok = False
+    # 日志只写通过与否,不写期望值
+    print(f"{name}: {'PASS' if ok else 'FAIL'}")
+    passed += ok
+
+with open("/logs/verifier/reward.txt", "w") as f:
+    f.write(str(passed / len(CASES)))

+ 2 - 0
code/extra14_rl_env/tasks/order-stats-v2/tests/test.sh

@@ -0,0 +1,2 @@
+#!/bin/bash
+python3 /tests/check.py

+ 2 - 0
docs/README.md

@@ -90,6 +90,7 @@
 | [11-WebAgent科普与实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra11-WebAgent科普与实战.md) | Web Agent 原理、反爬实战与 HelloAgents 集成 |
 | [12-旅行助手后训练实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra12-旅行助手后训练实战.md) | 把旅行助手 Demo 打磨成能用的 Planner |
 | [13-Hello-Agents视频课录制共创](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra13-Hello-Agents视频课录制共创.md) | 视频课程共创录制资源 |
+| [14-Agent RL环境入门与合成实战](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) | Agent RL 环境概念、Harbor 实战与批量合成 |
 
 ### PDF 版本下载
 
@@ -151,6 +152,7 @@
 - [殷鑫-个人开发者](https://github.com/vinci-grape) (浙江大学, Extra10 内容贡献)
 - [Pranav Janakiraman-个人开发者](https://github.com/pranavjana) (TinyFish, Extra11 内容贡献)
 - [王雨飞-个人开发者](https://github.com/nameless0120) (北京邮电大学,Extra12 内容贡献)
+- [fengju0213](https://github.com/fengju0213) (Extra14 内容贡献)
 
 ### 视频课程贡献者
 

+ 2 - 0
docs/README_EN.md

@@ -86,6 +86,7 @@
 | [11-Web Agent: Principles and Practice](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra11-WebAgent科普与实战.md) | Web Agent principles, anti-bot practice, and HelloAgents integration |
 | [12-Trip Planner Post-Training in Practice](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra12-旅行助手后训练实战.md) | Turning a trip-planner demo into a usable planner |
 | [13-Hello-Agents Video Course Co-creation](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra13-Hello-Agents视频课录制共创.md) | Video course co-creation recording resources |
+| [14-Agent RL Environments: Basics and Synthesis](https://github.com/datawhalechina/hello-agents/blob/main/Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md) | Agent RL environment concepts, Harbor hands-on, and batch synthesis |
 
 ### PDF Version Download
 
@@ -146,6 +147,7 @@ We are an open-source community and welcome any form of contribution!
 - [Yin Xin - Individual Developer](https://github.com/vinci-grape) (Zhejiang University, Extra10 content contribution)
 - [Pranav Janakiraman - Individual Developer](https://github.com/pranavjana) (TinyFish, Extra11 content contribution)
 - [Wang Yufei - Individual Developer](https://github.com/nameless0120) (Beijing University of Posts and Telecommunications, Extra12 content contribution)
+- [fengju0213](https://github.com/fengju0213) (Extra14 content contribution)
 
 ### Video Course Contributors