|
@@ -4,7 +4,7 @@
|
|
|
|
|
|
|
|
Agent 的活就没这么好判了。它要修代码、改配置、操作数据库,跑完留下的是一堆被改过的文件和状态。想给它打分,得先确认这些状态对不对,再确认它没有钻空子,而且同一份结果复评,结论得一样。把任务说明、初始状态和这套判分逻辑打包到一起,就是这篇要讲的 RL 环境。
|
|
Agent 的活就没这么好判了。它要修代码、改配置、操作数据库,跑完留下的是一堆被改过的文件和状态。想给它打分,得先确认这些状态对不对,再确认它没有钻空子,而且同一份结果复评,结论得一样。把任务说明、初始状态和这套判分逻辑打包到一起,就是这篇要讲的 RL 环境。
|
|
|
|
|
|
|
|
-本章节写给用过 Agent、但没接触过 RL 环境的读者,不需要强化学习基础。前三章讲概念和 [Harbor](https://github.com/harbor-framework/harbor),第四章动手写一个环境,后面几章讲 verifier、批量合成、难度和公平,最后讲怎么接到评测和训练上。
|
|
|
|
|
|
|
+本章节写给用过 Agent、但没接触过 RL 环境的读者,不需要强化学习基础。前三节讲概念和 [Harbor](https://github.com/harbor-framework/harbor),第四节动手写一个环境,后面几节讲 verifier、批量合成、难度和公平,最后讲怎么接到评测和训练上。
|
|
|
|
|
|
|
|
文中的案例都做过脱敏和简化,不对应具体项目。贴出来的运行结果都来自配套的小任务,代码在 [code/extra14_rl_env](../code/extra14_rl_env),装好 Docker 就能复现,不需要 API key。
|
|
文中的案例都做过脱敏和简化,不对应具体项目。贴出来的运行结果都来自配套的小任务,代码在 [code/extra14_rl_env](../code/extra14_rl_env),装好 Docker 就能复现,不需要 API key。
|
|
|
|
|
|
|
@@ -12,14 +12,14 @@ Agent 的活就没这么好判了。它要修代码、改配置、操作数据
|
|
|
|
|
|
|
|
## 目录
|
|
## 目录
|
|
|
|
|
|
|
|
-- [第一章:什么都没做,也能拿 0.75 分](#第一章什么都没做也能拿-075-分)
|
|
|
|
|
-- [第二章:RL 环境到底是什么](#第二章rl-环境到底是什么)
|
|
|
|
|
-- [第三章:Harbor 是什么](#第三章harbor-是什么)
|
|
|
|
|
-- [第四章:动手写第一个环境](#第四章动手写第一个环境)
|
|
|
|
|
-- [第五章:Verifier 怎么才算靠谱](#第五章verifier-怎么才算靠谱)
|
|
|
|
|
-- [第六章:怎么批量合成环境](#第六章怎么批量合成环境)
|
|
|
|
|
-- [第七章:难度与公平](#第七章难度与公平)
|
|
|
|
|
-- [第八章:接到评测和训练](#第八章接到评测和训练)
|
|
|
|
|
|
|
+- [第一节:什么都没做,也能拿 0.75 分](#第一节什么都没做也能拿-075-分)
|
|
|
|
|
+- [第二节:RL 环境到底是什么](#第二节rl-环境到底是什么)
|
|
|
|
|
+- [第三节:Harbor 是什么](#第三节harbor-是什么)
|
|
|
|
|
+- [第四节:动手写第一个环境](#第四节动手写第一个环境)
|
|
|
|
|
+- [第五节:Verifier 怎么才算靠谱](#第五节verifier-怎么才算靠谱)
|
|
|
|
|
+- [第六节:怎么批量合成环境](#第六节怎么批量合成环境)
|
|
|
|
|
+- [第七节:难度与公平](#第七节难度与公平)
|
|
|
|
|
+- [第八节:接到评测和训练](#第八节接到评测和训练)
|
|
|
- [这次留下来的经验](#这次留下来的经验)
|
|
- [这次留下来的经验](#这次留下来的经验)
|
|
|
- [上线前检查清单](#上线前检查清单)
|
|
- [上线前检查清单](#上线前检查清单)
|
|
|
- [后面还会补的内容](#后面还会补的内容)
|
|
- [后面还会补的内容](#后面还会补的内容)
|
|
@@ -27,7 +27,7 @@ Agent 的活就没这么好判了。它要修代码、改配置、操作数据
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-## 第一章:什么都没做,也能拿 0.75 分
|
|
|
|
|
|
|
+## 第一节:什么都没做,也能拿 0.75 分
|
|
|
|
|
|
|
|
有一次审查任务,我们照例先跑了一个什么都不做的空 Agent,结果分数不是 0。打开 verifier 一看,有几条测试根本没碰 Agent 的代码,测的是 verifier 自己的辅助函数,等于每次固定送分。
|
|
有一次审查任务,我们照例先跑了一个什么都不做的空 Agent,结果分数不是 0。打开 verifier 一看,有几条测试根本没碰 Agent 的代码,测的是 verifier 自己的辅助函数,等于每次固定送分。
|
|
|
|
|
|
|
@@ -72,7 +72,7 @@ check_alice_total: FAIL
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-## 第二章:RL 环境到底是什么
|
|
|
|
|
|
|
+## 第二节:RL 环境到底是什么
|
|
|
|
|
|
|
|
先看经典的强化学习循环:Agent 做一个动作,环境返回新的观测和奖励,然后 Agent 再做下一个动作。
|
|
先看经典的强化学习循环:Agent 做一个动作,环境返回新的观测和奖励,然后 Agent 再做下一个动作。
|
|
|
|
|
|
|
@@ -116,7 +116,7 @@ observation, reward, terminated, truncated, info = env.step(action)
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-## 第三章:Harbor 是什么
|
|
|
|
|
|
|
+## 第三节:Harbor 是什么
|
|
|
|
|
|
|
|
[Harbor](https://github.com/harbor-framework/harbor) 是 Terminal-Bench 团队做的开源框架,Apache-2.0 协议,用来在容器里评测和优化 Agent。
|
|
[Harbor](https://github.com/harbor-framework/harbor) 是 Terminal-Bench 团队做的开源框架,Apache-2.0 协议,用来在容器里评测和优化 Agent。
|
|
|
|
|
|
|
@@ -141,7 +141,7 @@ Harbor 里有五个概念会反复出现:
|
|
|
|
|
|
|
|
判分脚本只要遵守一个约定:把分数写进 `/logs/verifier/reward.txt`,有多个分项的话写进 `reward.json`。
|
|
判分脚本只要遵守一个约定:把分数写进 `/logs/verifier/reward.txt`,有多个分项的话写进 `reward.json`。
|
|
|
|
|
|
|
|
-Harbor 还内置了两个不调模型的 Agent,用起来不花钱,写任务时几乎天天要用。一个是 `oracle`,它运行任务自带的 `solution/solve.sh`,用来证明这道题做得出来;另一个是 `nop`,什么都不做,用来证明空解拿不到分。第一章那个 0.75 分,就是 `nop` 跑出来的。
|
|
|
|
|
|
|
+Harbor 还内置了两个不调模型的 Agent,用起来不花钱,写任务时几乎天天要用。一个是 `oracle`,它运行任务自带的 `solution/solve.sh`,用来证明这道题做得出来;另一个是 `nop`,什么都不做,用来证明空解拿不到分。第一节那个 0.75 分,就是 `nop` 跑出来的。
|
|
|
|
|
|
|
|
一次 Trial 大致是这样走的,注意两个容器之间的边界:
|
|
一次 Trial 大致是这样走的,注意两个容器之间的边界:
|
|
|
|
|
|
|
@@ -168,7 +168,7 @@ Harbor 还内置了两个不调模型的 Agent,用起来不花钱,写任务
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-## 第四章:动手写第一个环境
|
|
|
|
|
|
|
+## 第四节:动手写第一个环境
|
|
|
|
|
|
|
|
### 准备
|
|
### 准备
|
|
|
|
|
|
|
@@ -182,7 +182,7 @@ cd hello-agents/code/extra14_rl_env
|
|
|
|
|
|
|
|
### 任务长什么样
|
|
### 任务长什么样
|
|
|
|
|
|
|
|
-第一章那个任务在 `tasks/order-stats-v1`:
|
|
|
|
|
|
|
+第一节那个任务在 `tasks/order-stats-v1`:
|
|
|
|
|
|
|
|
```text
|
|
```text
|
|
|
order-stats-v1/
|
|
order-stats-v1/
|
|
@@ -329,9 +329,9 @@ harbor run -p tasks/order-stats-v2 -a claude-code -m <模型名>
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-## 第五章:Verifier 怎么才算靠谱
|
|
|
|
|
|
|
+## 第五节:Verifier 怎么才算靠谱
|
|
|
|
|
|
|
|
-上一章用的探针,可以归成四道检查,我建议每个任务都过一遍:
|
|
|
|
|
|
|
+上一节用的探针,可以归成四道检查,我建议每个任务都过一遍:
|
|
|
|
|
|
|
|
| 检查 | 期望 | 抓的是什么 |
|
|
| 检查 | 期望 | 抓的是什么 |
|
|
|
| --- | --- | --- |
|
|
| --- | --- | --- |
|
|
@@ -346,7 +346,7 @@ harbor run -p tasks/order-stats-v2 -a claude-code -m <模型名>
|
|
|
|
|
|
|
|
### 空解为什么能拿分
|
|
### 空解为什么能拿分
|
|
|
|
|
|
|
|
-第一章是测试写错了,还有一种情况更常见:测试本身没错,比如检查基线文件还在、网络隔离生效,可它们通过了也会加分,结果空解也能拿到一部分分数。
|
|
|
|
|
|
|
+第一节是测试写错了,还有一种情况更常见:测试本身没错,比如检查基线文件还在、网络隔离生效,可它们通过了也会加分,结果空解也能拿到一部分分数。
|
|
|
|
|
|
|
|
当时讨论下来定了一条规则:这类检查通过不得分,不通过扣分。写成代码,就是把它们当成前置条件:
|
|
当时讨论下来定了一条规则:这类检查通过不得分,不通过扣分。写成代码,就是把它们当成前置条件:
|
|
|
|
|
|
|
@@ -399,7 +399,7 @@ else:
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-## 第六章:怎么批量合成环境
|
|
|
|
|
|
|
+## 第六节:怎么批量合成环境
|
|
|
|
|
|
|
|
训练要的环境又多又杂,一个个手写根本跟不上,所以要合成。
|
|
训练要的环境又多又杂,一个个手写根本跟不上,所以要合成。
|
|
|
|
|
|
|
@@ -423,7 +423,7 @@ else:
|
|
|
<p><strong>图 8</strong> Agent-World 的环境与任务发现流水线。图片引自 <a href="https://arxiv.org/abs/2604.18292">Agent-World 论文</a> Figure 2,版权归原作者所有</p>
|
|
<p><strong>图 8</strong> Agent-World 的环境与任务发现流水线。图片引自 <a href="https://arxiv.org/abs/2604.18292">Agent-World 论文</a> Figure 2,版权归原作者所有</p>
|
|
|
</div>
|
|
</div>
|
|
|
|
|
|
|
|
-[EvoEnv](https://arxiv.org/abs/2605.14392) 让模型自己写环境,候选环境要过好几层校验才能进训练池:先是 L1 到 L5 的机械检查,然后是语义审查,再按当前模型校准难度,最后去重。其中 L5 和上一章的四道检查是一个意思:参考答案必须得分,被扰动过的答案、格式错误和类型不对的答案都不能得分,解析过程也不能泄露隐藏答案。
|
|
|
|
|
|
|
+[EvoEnv](https://arxiv.org/abs/2605.14392) 让模型自己写环境,候选环境要过好几层校验才能进训练池:先是 L1 到 L5 的机械检查,然后是语义审查,再按当前模型校准难度,最后去重。其中 L5 和上一节的四道检查是一个意思:参考答案必须得分,被扰动过的答案、格式错误和类型不对的答案都不能得分,解析过程也不能泄露隐藏答案。
|
|
|
|
|
|
|
|
<div align="center">
|
|
<div align="center">
|
|
|
<img src="./images/Extra14-figures/paper-evoenv-figure1.png" alt="EvoEnv 论文中的环境合成与准入流程总览" width="92%"/>
|
|
<img src="./images/Extra14-figures/paper-evoenv-figure1.png" alt="EvoEnv 论文中的环境合成与准入流程总览" width="92%"/>
|
|
@@ -500,7 +500,7 @@ oracle 通过,只能说明参考解那条路走得通。如果参考解走的
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-## 第七章:难度与公平
|
|
|
|
|
|
|
+## 第七节:难度与公平
|
|
|
|
|
|
|
|
环境能判对错以后,还要看它有没有用。所有模型都满分,或者都是 0 分,这个环境就给不出任何信号。
|
|
环境能判对错以后,还要看它有没有用。所有模型都满分,或者都是 0 分,这个环境就给不出任何信号。
|
|
|
|
|
|
|
@@ -539,7 +539,7 @@ EvoEnv 的准入条件很直接:当前模型的通过率必须在 0 和 1 之
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-## 第八章:接到评测和训练
|
|
|
|
|
|
|
+## 第八节:接到评测和训练
|
|
|
|
|
|
|
|
任务写好了,就要批量跑起来。这一步有三件事容易出错。
|
|
任务写好了,就要批量跑起来。这一步有三件事容易出错。
|
|
|
|
|
|
|
@@ -680,7 +680,7 @@ reward 就是模型要学的目标。它判错了,模型会照着错的方向
|
|
|
|
|
|
|
|
**图片来源**
|
|
**图片来源**
|
|
|
|
|
|
|
|
-图 2、3、4、5、7、10、12 为本章原创。其余图片的来源如下,版权归原作者所有:
|
|
|
|
|
|
|
+图 2、3、4、5、7、10、12 为本文原创。其余图片的来源如下,版权归原作者所有:
|
|
|
|
|
|
|
|
| 图 | 来源 | 许可 |
|
|
| 图 | 来源 | 许可 |
|
|
|
| --- | --- | --- |
|
|
| --- | --- | --- |
|