1
0
Эх сурвалжийг харах

docs: 调整 Extra14 开头

Sun Tao 2 долоо хоног өмнө
parent
commit
6f39d41a1b

+ 2 - 2
Extra-Chapter/Extra14-Agent-RL环境入门与合成实战.md

@@ -2,9 +2,9 @@
 
 第十一章讲 Agentic RL 时,reward 函数写起来很简单:拿模型的答案和标准答案比一比,对了就给分。GSM8K 这类数学题,这样做完全够用。
 
-Agent 的活就没这么好判了。它要修代码、改配置、操作数据库,跑完留下的是一堆被改过的文件和状态。想给它打分,得先确认这些状态对不对,再确认它没有钻空子,而且同一份结果今天判和明天判,结论得一样。把任务说明、初始状态和这套判分逻辑打包到一起,就是这篇要讲的 RL 环境。
+Agent 的活就没这么好判了。它要修代码、改配置、操作数据库,跑完留下的是一堆被改过的文件和状态。想给它打分,得先确认这些状态对不对,再确认它没有钻空子,而且同一份结果复评,结论得一样。把任务说明、初始状态和这套判分逻辑打包到一起,就是这篇要讲的 RL 环境。
 
-过去一段时间,我们一直在批量合成和审查这类环境,坑踩了不少。这篇把其中比较通用的部分整理出来,写给用过 Agent、但没接触过 RL 环境的读者,不需要强化学习基础。前三章讲概念和 [Harbor](https://github.com/harbor-framework/harbor),第四章动手写一个环境,后面几章讲 verifier、批量合成、难度和公平,最后讲怎么接到评测和训练上。
+本章节写给用过 Agent、但没接触过 RL 环境的读者,不需要强化学习基础。前三章讲概念和 [Harbor](https://github.com/harbor-framework/harbor),第四章动手写一个环境,后面几章讲 verifier、批量合成、难度和公平,最后讲怎么接到评测和训练上。
 
 文中的案例都做过脱敏和简化,不对应具体项目。贴出来的运行结果都来自配套的小任务,代码在 [code/extra14_rl_env](../code/extra14_rl_env),装好 Docker 就能复现,不需要 API key。