update

docs/README.md

@@ -15,42 +15,42 @@
 
   如果说2023年是"百模大战"的元年，那么2024年无疑开启了"Agent元年"。技术的焦点正从训练更大的基础模型，转向构建更聪明的智能体应用。然而，当前系统性、重实践的教程却极度匮乏。为此，我们发起了 Hello-Agents 项目，希望能为社区提供一本从零开始、理论与实战并重的多智能体系统构建指南。
 
-  Hello-Agents 是一个**系统性的多智能体学习教程**，旨在"授人以渔"。教程将带领你穿透框架表象，从智能体的核心原理出发，深入其核心架构，理解其经典范式，并最终亲手构建起属于自己的、强大的多智能体应用。我们相信，最好的学习方式就是动手实践。希望这本书能成为你探索智能体浩瀚世界的起点，帮助你从一名 LLM 的"使用者"，蜕变为一名智能系统的"构建者"。
+&emsp;&emsp;Hello-Agents 是一个<strong>系统性的多智能体学习教程</strong>，旨在"授人以渔"。教程将带领你穿透框架表象，从智能体的核心原理出发，深入其核心架构，理解其经典范式，并最终亲手构建起属于自己的、强大的多智能体应用。我们相信，最好的学习方式就是动手实践。希望这本书能成为你探索智能体浩瀚世界的起点，帮助你从一名 LLM 的"使用者"，蜕变为一名智能系统的"构建者"。
 
 ### ✨ 你将收获什么？
 
-- 📖 **Datawhale 开源免费** 完全免费学习本项目所有内容，与社区共同成长
-- 🔍 **理解核心原理** 深入理解智能体（Agent）的构件、原则与经典范式
-- 🏗️ **亲手实现** 编码复现 ReAct、Plan-and-Solve 等经典智能体架构
-- 🛠️ **掌握高级技能** 学习并应用 CoT、RAG、工具使用等前沿技术
-- 🤝 **构建多智能体** 掌握多智能体协作、通信与评估的核心方法
-- 🚀 **驱动真实案例** 实战开发智能旅行助手、自动化研究员等综合项目"
+- 📖 <strong>Datawhale 开源免费</strong> 完全免费学习本项目所有内容，与社区共同成长
+- 🔍 <strong>理解核心原理</strong> 深入理解智能体（Agent）的构件、原则与经典范式
+- 🏗️ <strong>亲手实现</strong> 编码复现 ReAct、Plan-and-Solve 等经典智能体架构
+- 🛠️ <strong>掌握高级技能</strong> 学习并应用 CoT、RAG、工具使用等前沿技术
+- 🤝 <strong>构建多智能体</strong> 掌握多智能体协作、通信与评估的核心方法
+- 🚀 <strong>驱动真实案例</strong> 实战开发智能旅行助手、自动化研究员等综合项目"
 
 ## 📖 内容导航
 
 | 章节 | 关键内容 | 状态 |
 | --- | --- | --- |
 | [前言](./前言.md) | 项目的缘起、背景及读者建议 | ✅ |
-| **第一部分：智能体与语言模型基础** |  |  |
+| <strong>第一部分：智能体与语言模型基础</strong> |  |  |
 | [第一章 初识智能体](./chapter1/第一章%20初识智能体.md) | 智能体定义、类型、范式与应用 | ✅ |
 | [第二章 智能体发展史](./chapter2/第二章%20智能体发展史.md) | 从符号主义到 LLM 驱动的智能体演进 | ✅ |
 | [第三章 大语言模型基础](./chapter3/第三章%20大语言模型基础.md) | Transformer、提示、主流LLM及其局限 | ✅ |
-| **第二部分：构建你的大语言模型智能体** |  |  |
+| <strong>第二部分：构建你的大语言模型智能体</strong> |  |  |
 | [第四章 智能体经典范式构建](./chapter4/第四章%20智能体经典范式构建.md) | 设计原则、核心能力、记忆与工具 | 🚧 |
 | [第五章 基于低代码平台的智能体搭建](./chapter5/第五章%20基于低代码平台的智能体搭建.md) | 手把手实现 ReAct, Plan-and-Solve, Reflection | 🚧 |
 | [第六章 框架开发实践](./chapter6/第六章%20框架开发实践.md) | CAMEL, LangChain, AutoGen 等主流框架应用 | 🚧 |
-| **第三部分：高级知识扩展** |  |  |
+| <strong>第三部分：高级知识扩展</strong> |  |  |
 | [第七章 推理与规划](./chapter7/第七章%20推理与规划.md) | CoT, 逻辑推理, 搜索与规划 | 🚧 |
 | [第八章 记忆与工具](./chapter8/第八章%20记忆与工具.md) | RAG, 向量数据库, API 调用 | 🚧 |
 | [第九章 智能体通信协议](./chapter9/第九章%20智能体通信协议.md) | MCP, A2A, ANP 等协议解析 | 🚧 |
 | [第十章 多智能体系统](./chapter10/第十章%20多智能体系统.md) | 协作、通信、博弈论与 AI Society | 🚧 |
 | [第十一章 智能体性能评估](./chapter11/第十一章%20智能体性能评估.md) | 核心指标、基准测试与评估框架 | 🚧 |
-| **第四部分：综合案例进阶** |  |  |
+| <strong>第四部分：综合案例进阶</strong> |  |  |
 | [第十二章 智能旅行助手](./chapter12/第十二章%20智能旅行助手.md) | RAG与多智能体协作的真实世界应用 | 🚧 |
 | [第十三章 自动化深度研究智能体](./chapter13/第十三章%20自动化深度研究智能体.md) | DeepResearch Agent 复现与解析 | 🚧 |
 | [第十六章 构建你的赛博小镇](./chapter16/第十六章%20构建你的赛博小镇.md) | Agent 与游戏的结合，模拟社会动态 | 🚧 |
 | [第十七章 伦理、对齐与安全](./chapter16/第十六章%20伦理、对齐与安全.md) | Agent 伦理、对齐与安全的讨论 | 🚧 |
-| **第五部分：毕业设计及未来展望** |  |  |
+| <strong>第五部分：毕业设计及未来展望</strong> |  |  |
 | [第十八章 毕业设计](./chapter18/第十八章%20毕业设计.md) | 构建属于你的完整多智能体应用 | 🚧 |
 | [第十九章 未来已来](./chapter19/第十九章%20未来已来.md) | 具身智能、人机协作、挑战与机遇 | 🚧 |
 
@@ -58,11 +58,11 @@
 
 &emsp;&emsp;欢迎大家将在学习 Hello-Agents 或 Agent 相关技术中的独到见解、实践总结，以 PR 的形式贡献到社区精选。
 
-**暂无内容，期待你的第一次贡献！**
+<strong>暂无内容，期待你的第一次贡献！</strong>
 
 ### PDF 版本下载
 
-&emsp;&emsp;***本 Hello-Agents PDF 教程完全开源免费。为防止各类营销号加水印后贩卖给多智能体系统初学者，我们特地在 PDF 文件中预先添加了不影响阅读的 Datawhale 开源标志水印，敬请谅解～***
+&emsp;&emsp;*<strong>本 Hello-Agents PDF 教程完全开源免费。为防止各类营销号加水印后贩卖给多智能体系统初学者，我们特地在 PDF 文件中预先添加了不影响阅读的 Datawhale 开源标志水印，敬请谅解～</strong>*
 
 > *Hello-Agents PDF : https://github.com/datawhalechina/Hello-Agents/releases/tag/PDF*  
 > *Hello-Agents PDF 国内下载地址 : https://www.datawhale.cn/learn/summary/XXX* 
@@ -71,30 +71,30 @@
 
 &emsp;&emsp;欢迎你，未来的智能系统构建者！在开启这段激动人心的旅程之前，请允许我们给你一些清晰的指引。
 
-&emsp;&emsp;本书内容兼顾理论与实战，旨在帮助你系统性地掌握从单个智能体到多智能体系统的设计与开发全流程。因此，本书尤其适合有一定编程基础的 **AI开发者、软件工程师、在校学生** 以及对前沿 AI 技术抱有浓厚兴趣的 **自学者**。在阅读本书之前，我们希望你具备扎实的 **Python 编程能力**，并对大语言模型有基本的概念性了解（例如，知道如何通过 API 调用一个 LLM）。本书的重点是 **应用与构建**，因此你无需具备深厚的算法或模型训练背景。
+&emsp;&emsp;本书内容兼顾理论与实战，旨在帮助你系统性地掌握从单个智能体到多智能体系统的设计与开发全流程。因此，本书尤其适合有一定编程基础的 <strong>AI开发者、软件工程师、在校学生</strong> 以及对前沿 AI 技术抱有浓厚兴趣的 <strong>自学者</strong>。在阅读本书之前，我们希望你具备扎实的 <strong>Python 编程能力</strong>，并对大语言模型有基本的概念性了解（例如，知道如何通过 API 调用一个 LLM）。本书的重点是 <strong>应用与构建</strong>，因此你无需具备深厚的算法或模型训练背景。
 
 &emsp;&emsp;本书分为五大部分，每一部分都是通往下一阶段的坚实阶梯：
 
-- **第一部分：基础知识**（第1章～第3章），我们将从智能体的定义、类型与发展历史讲起，为你梳理"智能体"这一概念的来龙去脉。随后，我们会快速回顾大语言模型的核心知识，确保你拥有继续前行所需的全部理论基础。
+- <strong>第一部分：基础知识</strong>（第1章～第3章），我们将从智能体的定义、类型与发展历史讲起，为你梳理"智能体"这一概念的来龙去脉。随后，我们会快速回顾大语言模型的核心知识，确保你拥有继续前行所需的全部理论基础。
 
-- **第二部分：构建你的大语言模型智能体**（第4章～第6章），这是你动手实践的开始。我们将深入剖析智能体经典范式构建，并带你亲手编码实现 ReAct、Plan-and-Solve、Reflection 等经典构建范式。最后，我们会介绍 CAMEL 等业界主流的智能体开发框架，让你兼具"造轮子"和"用轮子"的能力。
+- <strong>第二部分：构建你的大语言模型智能体</strong>（第4章～第6章），这是你动手实践的开始。我们将深入剖析智能体经典范式构建，并带你亲手编码实现 ReAct、Plan-and-Solve、Reflection 等经典构建范式。最后，我们会介绍 CAMEL 等业界主流的智能体开发框架，让你兼具"造轮子"和"用轮子"的能力。
 
-- **第三部分：高级知识扩展**（第7章～第11章），在这一部分，你的智能体将"学会"高级技能。我们将探讨思维链（CoT）等推理规划技术，通过检索增强生成（RAG）赋予智能体记忆与工具使用能力，并学习多智能体间的通信协议。最终，你将掌握构建与评估一个完整多智能体系统的方法。
+- <strong>第三部分：高级知识扩展</strong>（第7章～第11章），在这一部分，你的智能体将"学会"高级技能。我们将探讨思维链（CoT）等推理规划技术，通过检索增强生成（RAG）赋予智能体记忆与工具使用能力，并学习多智能体间的通信协议。最终，你将掌握构建与评估一个完整多智能体系统的方法。
 
-- **第四部分：综合案例进阶**（第12章～第17章），这是本书的实战核心。你将把所学知识融会贯通，构建 **智能旅行助手、自动化深度研究智能体、赛博小镇（Agent+游戏）** 等贴近真实应用场景的复杂项目。此外，我们还提供了关于强化学习、监督微调、伦理安全等可选章节，供你进一步探索。
+- <strong>第四部分：综合案例进阶</strong>（第12章～第17章），这是本书的实战核心。你将把所学知识融会贯通，构建 <strong>智能旅行助手、自动化深度研究智能体、赛博小镇（Agent+游戏）</strong> 等贴近真实应用场景的复杂项目。此外，我们还提供了关于强化学习、监督微调、伦理安全等可选章节，供你进一步探索。
 
-- **第五部分：毕业设计及未来展望**（第18章～第19章），在旅程的终点，你将完成一个毕业设计，全面检验你的学习成果。我们还将与你一同展望具身智能、人机协作等未来趋势，并探讨多智能体系统带来的机遇与挑战。
+- <strong>第五部分：毕业设计及未来展望</strong>（第18章～第19章），在旅程的终点，你将完成一个毕业设计，全面检验你的学习成果。我们还将与你一同展望具身智能、人机协作等未来趋势，并探讨多智能体系统带来的机遇与挑战。
 
-&emsp;&emsp;为了获得最佳的学习效果，我们强烈建议你 **将理论与实践相结合**。智能体是一个飞速发展且极度依赖实践的领域。请务必亲手运行、调试甚至修改本书提供的每一份代码。当遇到问题时，欢迎你随时在我们的开源社区中提问和交流。
+&emsp;&emsp;为了获得最佳的学习效果，我们强烈建议你 <strong>将理论与实践相结合</strong>。智能体是一个飞速发展且极度依赖实践的领域。请务必亲手运行、调试甚至修改本书提供的每一份代码。当遇到问题时，欢迎你随时在我们的开源社区中提问和交流。
 
 ## 🤝 如何贡献
 
 我们是一个开放的开源社区，欢迎任何形式的贡献！
 
-- 🐛 **报告 Bug** - 发现内容或代码问题，请提交 Issue
-- 💡 **提出建议** - 对项目有好想法，欢迎发起讨论
-- 📝 **完善内容** - 帮助改进教程，提交你的 Pull Request
-- ✍️ **分享实践** - 在"社区贡献精选"中分享你的学习笔记和项目
+- 🐛 <strong>报告 Bug</strong> - 发现内容或代码问题，请提交 Issue
+- 💡 <strong>提出建议</strong> - 对项目有好想法，欢迎发起讨论
+- 📝 <strong>完善内容</strong> - 帮助改进教程，提交你的 Pull Request
+- ✍️ <strong>分享实践</strong> - 在"社区贡献精选"中分享你的学习笔记和项目
 
 ## 🙏 致谢
 

docs/_sidebar.md

@@ -1,29 +1,29 @@
 - [Hello-Agents](./README.md)
   - [前言](./前言.md)
   
-- **第一部分：智能体与语言模型基础**
+- <strong>第一部分：智能体与语言模型基础</strong>
   - [第一章 初识智能体](./chapter1/第一章%20初识智能体.md)
   - [第二章 智能体发展史](./chapter2/第二章%20智能体发展史.md)
   - [第三章 大语言模型基础](./chapter3/第三章%20大模型基础.md)
 
-- **第二部分：构建你的大语言模型智能体**
+- <strong>第二部分：构建你的大语言模型智能体</strong>
   - [第四章 智能体经典范式构建](./chapter4/第四章%20智能体经典范式构建.md)
   - [第五章 基于低代码平台的智能体搭建](./chapter5/第五章%20基于低代码平台的智能体搭建.md)
   - [第六章 框架开发实践](./chapter6/第六章%20框架开发实践.md)
 
-- **第三部分：高级知识扩展**
+- <strong>第三部分：高级知识扩展</strong>
   - [第七章 推理与规划](./chapter7/第七章%20推理与规划.md)
   - [第八章 记忆与工具](./chapter8/第八章%20记忆与工具.md)
   - [第九章 智能体通信协议](./chapter9/第九章%20智能体通信协议.md)
   - [第十章 多智能体系统](./chapter10/第十章%20多智能体系统.md)
   - [第十一章 智能体性能评估](./chapter11/第十一章%20智能体性能评估.md)
 
-- **第四部分：综合案例进阶**
+- <strong>第四部分：综合案例进阶</strong>
   - [第十二章 智能旅行助手](./chapter12/第十二章%20智能旅行助手.md)
   - [第十三章 自动化深度研究智能体](./chapter13/第十三章%20自动化深度研究智能体.md)
   - [第十六章 构建你的赛博小镇](./chapter16/第十六章%20构建你的赛博小镇.md)
   - [第十七章 伦理、对齐与安全](./chapter17/第十七章%20伦理、对齐与安全.md)
 
-- **第五部分：毕业设计及未来展望**
+- <strong>第五部分：毕业设计及未来展望</strong>
   - [第十八章 毕业设计](./chapter18/第十八章%20毕业设计.md)
   - [第十九章 未来已来](./chapter19/第十九章%20未来已来.md)

docs/chapter1/第一章 初识智能体.md

@@ -1,18 +1,18 @@
 # 第一章 初识智能体
 
-欢迎来到智能体的世界！在人工智能浪潮席卷全球的今天，**智能体（Agent）**已成为驱动技术变革与应用创新的核心概念之一。无论你的志向是成为AI领域的研究者、工程师，还是希望深刻理解技术前沿的观察者，掌握智能体的本质，都将是你知识体系中不可或缺的一环。
+欢迎来到智能体的世界！在人工智能浪潮席卷全球的今天，<strong>智能体（Agent）</strong>已成为驱动技术变革与应用创新的核心概念之一。无论你的志向是成为AI领域的研究者、工程师，还是希望深刻理解技术前沿的观察者，掌握智能体的本质，都将是你知识体系中不可或缺的一环。
 
 因此，在本章，让我们回到原点，一起探讨几个问题：智能体是什么？它有哪些主要的类型？它又是如何与我们所处的世界进行交互的？通过这些讨论，希望能为你未来的学习和探索打下坚实的基础。
 
 ## 1.1 什么是智能体？
 
-在探索任何一个复杂概念时，我们最好从一个简洁的定义开始。在人工智能领域，智能体被定义为任何能够通过**传感器（Sensors）**感知其所处**环境（Environment）**，并**自主**地通过**执行器（Actuators）**采取**行动（Action）**以达成特定目标的实体。
+在探索任何一个复杂概念时，我们最好从一个简洁的定义开始。在人工智能领域，智能体被定义为任何能够通过<strong>传感器（Sensors）</strong>感知其所处<strong>环境（Environment）</strong>，并<strong>自主</strong>地通过<strong>执行器（Actuators）</strong>采取<strong>行动（Action）</strong>以达成特定目标的实体。
 
-这个定义包含了智能体存在的四个基本要素。环境是智能体所处的外部世界。对于自动驾驶汽车，环境是动态变化的道路交通；对于一个交易算法，环境则是瞬息万变的金融市场。智能体并非与环境隔离，它通过其传感器持续地感知环境状态。摄像头、麦克风、雷达或各类**应用程序编程接口（Application Programming Interface, API）**返回的数据流，都是其感知能力的延伸。
+这个定义包含了智能体存在的四个基本要素。环境是智能体所处的外部世界。对于自动驾驶汽车，环境是动态变化的道路交通；对于一个交易算法，环境则是瞬息万变的金融市场。智能体并非与环境隔离，它通过其传感器持续地感知环境状态。摄像头、麦克风、雷达或各类<strong>应用程序编程接口（Application Programming Interface, API）</strong>返回的数据流，都是其感知能力的延伸。
 
 获取信息后，智能体需要采取行动来对环境施加影响，它通过执行器来改变环境的状态。执行器可以是物理设备（如机械臂、方向盘）或虚拟工具（如执行一段代码、调用一个服务）。
 
-然而，真正赋予智能体“智能”的，是其**自主性（Autonomy）**。智能体并非只是被动响应外部刺激或严格执行预设指令的程序，它能够基于其感知和内部状态进行独立决策，以达成其设计目标。这种从感知到行动的闭环，构成了所有智能体行为的基础，如图1.1所示。
+然而，真正赋予智能体"智能"的，是其<strong>自主性（Autonomy）</strong>。智能体并非只是被动响应外部刺激或严格执行预设指令的程序，它能够基于其感知和内部状态进行独立决策，以达成其设计目标。这种从感知到行动的闭环，构成了所有智能体行为的基础，如图1.1所示。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/1-figures/1757242319667-0.png" alt="图片描述" width="90%"/>
@@ -21,9 +21,9 @@
 
 ### 1.1.1 传统视角下的智能体
 
-在当前**大语言模型（Large Language Model, LLM）**的热潮出现之前，人工智能的先驱们已经对“智能体”这一概念进行了数十年的探索与构建。这些如今我们称之为“传统智能体”的范式，并非单一的静态概念，而是经历了一条从简单到复杂、从被动反应到主动学习的清晰演进路线。
+在当前<strong>大语言模型（Large Language Model, LLM）</strong>的热潮出现之前，人工智能的先驱们已经对“智能体”这一概念进行了数十年的探索与构建。这些如今我们称之为“传统智能体”的范式，并非单一的静态概念，而是经历了一条从简单到复杂、从被动反应到主动学习的清晰演进路线。
 
-这个演进的起点，是那些结构最简单的**反射智能体（Simple Reflex Agent）**。它们的决策核心由工程师明确设计的“条件-动作”规则构成，如图1.2所示。经典的自动恒温器便是如此：若传感器感知的室温高于设定值，则启动制冷系统。
+这个演进的起点，是那些结构最简单的<strong>反射智能体（Simple Reflex Agent）</strong>。它们的决策核心由工程师明确设计的“条件-动作”规则构成，如图1.2所示。经典的自动恒温器便是如此：若传感器感知的室温高于设定值，则启动制冷系统。
 
 这种智能体完全依赖于当前的感知输入，不具备记忆或预测能力。它像一种数字化的本能，可靠且高效，但也因此无法应对需要理解上下文的复杂任务。它的局限性引出了一个关键问题：如果环境的当前状态不足以作为决策的全部依据，智能体该怎么办？
 
@@ -32,15 +32,15 @@
   <p>图 1.2 简单反射智能体的决策逻辑示意图</p>
 </div>
 
-为了回答这个问题，研究者们引入了“状态”的概念，发展出**基于模型的反射智能体（Model-Based Reflex Agent）**。这类智能体拥有一个内部的**世界模型（World Model）**，用于追踪和理解环境中那些无法被直接感知的方面。它试图回答：“世界现在是什么样子的？”。例如，一辆在隧道中行驶的自动驾驶汽车，即便摄像头暂时无法感知到前方的车辆，它的内部模型依然会维持对那辆车存在、速度和预估位置的判断。这个内部模型让智能体拥有了初级的“记忆”，使其决策不再仅仅依赖于瞬时感知，而是基于一个更连贯、更完整的世界状态理解。
+为了回答这个问题，研究者们引入了“状态”的概念，发展出<strong>基于模型的反射智能体（Model-Based Reflex Agent）</strong>。这类智能体拥有一个内部的<strong>世界模型（World Model）</strong>，用于追踪和理解环境中那些无法被直接感知的方面。它试图回答：“世界现在是什么样子的？”。例如，一辆在隧道中行驶的自动驾驶汽车，即便摄像头暂时无法感知到前方的车辆，它的内部模型依然会维持对那辆车存在、速度和预估位置的判断。这个内部模型让智能体拥有了初级的“记忆”，使其决策不再仅仅依赖于瞬时感知，而是基于一个更连贯、更完整的世界状态理解。
 
-然而，仅仅理解世界还不够，智能体需要有明确的目标。这促进了**基于目标的智能体（Goal-Based Agent）**的发展。与前两者不同，它的行为不再是被动地对环境做出反应，而是主动地、有预见性地选择能够导向某个特定未来状态的行动。这类智能体需要回答的问题是：“我应该做什么才能达成目标？”。经典的例子是GPS导航系统：你的目标是到达公司，智能体会基于地图数据（世界模型），通过搜索算法（如A*算法）来规划（Planning）出一条最优路径。这类智能体的核心能力体现在了对未来的考量与规划上。
+然而，仅仅理解世界还不够，智能体需要有明确的目标。这促进了<strong>基于目标的智能体（Goal-Based Agent）</strong>的发展。与前两者不同，它的行为不再是被动地对环境做出反应，而是主动地、有预见性地选择能够导向某个特定未来状态的行动。这类智能体需要回答的问题是：“我应该做什么才能达成目标？”。经典的例子是GPS导航系统：你的目标是到达公司，智能体会基于地图数据（世界模型），通过搜索算法（如A*算法）来规划（Planning）出一条最优路径。这类智能体的核心能力体现在了对未来的考量与规划上。
 
-更进一步，现实世界的目标往往不是单一的。我们不仅希望到达公司，还希望时间最短、路程最省油并且避开拥堵。当多个目标需要权衡时，**基于效用的智能体（Utility-Based Agent）**便随之出现。它为每一个可能的世界状态都赋予一个效用值，这个值代表了满意度的高低。智能体的核心目标不再是简单地达成某个特定状态，而是最大化期望效用。它需要回答一个更复杂的问题：“哪种行为能为我带来最满意的结果？”。这种架构让智能体学会在相互冲突的目标之间进行权衡，使其决策更接近人类的理性选择。
+更进一步，现实世界的目标往往不是单一的。我们不仅希望到达公司，还希望时间最短、路程最省油并且避开拥堵。当多个目标需要权衡时，<strong>基于效用的智能体（Utility-Based Agent）</strong>便随之出现。它为每一个可能的世界状态都赋予一个效用值，这个值代表了满意度的高低。智能体的核心目标不再是简单地达成某个特定状态，而是最大化期望效用。它需要回答一个更复杂的问题：“哪种行为能为我带来最满意的结果？”。这种架构让智能体学会在相互冲突的目标之间进行权衡，使其决策更接近人类的理性选择。
 
 至此，我们讨论的智能体虽然功能日益复杂，但其核心决策逻辑，无论是规则、模型还是效用函数，依然依赖于人类设计师的先验知识。如果智能体能不依赖预设，而是通过与环境的互动自主学习呢？
 
-这便是**学习型智能体（Learning Agent）**的核心思想，而**强化学习（Reinforcement Learning, RL）**是实现这一思想最具代表性的路径。一个学习型智能体包含一个性能元件（即我们前面讨论的各类智能体）和一个学习元件。学习元件通过观察性能元件在环境中的行动所带来的结果来不断修正性能元件的决策策略。
+这便是<strong>学习型智能体（Learning Agent）</strong>的核心思想，而<strong>强化学习（Reinforcement Learning, RL）</strong>是实现这一思想最具代表性的路径。一个学习型智能体包含一个性能元件（即我们前面讨论的各类智能体）和一个学习元件。学习元件通过观察性能元件在环境中的行动所带来的结果来不断修正性能元件的决策策略。
 
 想象一个学习下棋的AI。它开始时可能只是随机落子，当它最终赢下一局时，系统会给予它一个正向的奖励。通过大量的自我对弈，学习元件会逐渐发现哪些棋路更有可能导向最终的胜利。AlphaGo是这一理念的一个里程碑式的成就。它在围棋这一复杂博弈中，通过强化学习发现了许多超越人类既有知识的有效策略。
 
@@ -48,7 +48,7 @@
 
 ### 1.1.2 大语言模型驱动的新范式
 
-以**GPT（Generative Pre-trained Transformer）**为代表的大语言模型的出现，正在显著改变智能体的构建方法与能力边界。由大语言模型驱动的LLM智能体，其核心决策机制与传统智能体存在本质区别，从而赋予了其一系列全新的特性。
+以<strong>GPT（Generative Pre-trained Transformer）</strong>为代表的大语言模型的出现，正在显著改变智能体的构建方法与能力边界。由大语言模型驱动的LLM智能体，其核心决策机制与传统智能体存在本质区别，从而赋予了其一系列全新的特性。
 
 这种转变，可以从两者在核心引擎、知识来源、交互方式等多个维度的对比中清晰地看出，如表1.1所示。简而言之，传统智能体的能力源于工程师的显式编程与知识构建，其行为模式是确定且有边界的；而LLM智能体则通过在海量数据上的预训练，获得了隐式的世界模型与强大的涌现能力，使其能够以更灵活、更通用的方式应对复杂任务。
 
@@ -61,9 +61,9 @@
 
 以“策划一场团队研讨会”为例，LLM智能体的一种工作方式是：
 
-1. **分解与规划**：将大目标拆解成多个小步骤（如确认预算、搜索场地、设计议程）。
-2. **使用工具**：调用搜索引擎、预订网站等外部API来获取实时信息。
-3. **记忆与修正**：记住用户的反馈（如“场地太贵了”）并根据新情况调整计划。
+1. <strong>分解与规划</strong>：将大目标拆解成多个小步骤（如确认预算、搜索场地、设计议程）。
+2. <strong>使用工具</strong>：调用搜索引擎、预订网站等外部API来获取实时信息。
+3. <strong>记忆与修正</strong>：记住用户的反馈（如“场地太贵了”）并根据新情况调整计划。
 
 总而言之，我们正从开发专用自动化工具转向构建能自主解决问题的系统。核心不再是编写代码，而是引导一个通用的“大脑”去规划、行动和学习。
 
@@ -71,66 +71,66 @@
 
 继上文回顾智能体的演进后，本节将从三个互补的维度对智能体进行分类。
 
-（1）**基于内部决策架构的分类**
+（1）<strong>基于内部决策架构的分类</strong>
 
-第一种分类维度是依据智能体内部决策架构的复杂程度，这个视角在《Artificial Intelligence: A Modern Approach》中系统性地提出^[1]^。正如 1.1.1 节所述，传统智能体的演进路径本身就构成了最经典的分类阶梯，它涵盖了从简单的**反应式**智能体，到引入内部模型的**模型式**智能体，再到更具前瞻性的**基于目标**和**基于效用**的智能体。此外，**学习能力**则是一种可赋予上述所有类型的元能力，使其能通过经验自我改进。
+第一种分类维度是依据智能体内部决策架构的复杂程度，这个视角在《Artificial Intelligence: A Modern Approach》中系统性地提出^[1]^。正如 1.1.1 节所述，传统智能体的演进路径本身就构成了最经典的分类阶梯，它涵盖了从简单的<strong>反应式</strong>智能体，到引入内部模型的<strong>模型式</strong>智能体，再到更具前瞻性的<strong>基于目标</strong>和<strong>基于效用</strong>的智能体。此外，<strong>学习能力</strong>则是一种可赋予上述所有类型的元能力，使其能通过经验自我改进。
 
-（2）**基于时间与反应性的分类**
+（2）<strong>基于时间与反应性的分类</strong>
 
-除了内部架构的复杂性，还可以从智能体处理决策的时间维度进行分类。这个视角关注智能体是在接收到信息后立即行动，还是会经过深思熟虑的规划再行动。这揭示了智能体设计中一个核心权衡：追求速度的**反应性（Reactivity）**与追求最优解的**规划性（Deliberation）**之间的平衡，如图1.3所示。
+除了内部架构的复杂性，还可以从智能体处理决策的时间维度进行分类。这个视角关注智能体是在接收到信息后立即行动，还是会经过深思熟虑的规划再行动。这揭示了智能体设计中一个核心权衡：追求速度的<strong>反应性（Reactivity）</strong>与追求最优解的<strong>规划性（Deliberation）</strong>之间的平衡，如图1.3所示。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/1-figures/1757242319667-3.png" alt="图片描述" width="90%"/>
   <p>图 1.3 智能体决策时间与质量关系图</p>
 </div>
 
-- **反应式智能体 (Reactive Agents)**
+- <strong>反应式智能体 (Reactive Agents)</strong>
 
-这类智能体对环境刺激做出近乎即时的响应，决策延迟极低。它们通常遵循从感知到行动的直接映射，不进行或只进行极少的未来规划。上文的**简单反应式**和**基于模型**的智能体都属于此类别。
+这类智能体对环境刺激做出近乎即时的响应，决策延迟极低。它们通常遵循从感知到行动的直接映射，不进行或只进行极少的未来规划。上文的<strong>简单反应式</strong>和<strong>基于模型</strong>的智能体都属于此类别。
 
-其核心优势在于**速度快、计算开销低**，这在需要快速决策的动态环境中至关重要。例如，车辆的安全气囊系统必须在碰撞发生的毫秒内做出反应，任何延迟都可能导致严重后果；同样，高频交易机器人也必须依赖反应式决策来捕捉稍纵即逝的市场机会。然而，这种速度的代价是“短视”，由于缺乏长远规划，反应式智能体容易陷入局部最优，难以完成需要多步骤协调的复杂任务。
+其核心优势在于<strong>速度快、计算开销低</strong>，这在需要快速决策的动态环境中至关重要。例如，车辆的安全气囊系统必须在碰撞发生的毫秒内做出反应，任何延迟都可能导致严重后果；同样，高频交易机器人也必须依赖反应式决策来捕捉稍纵即逝的市场机会。然而，这种速度的代价是“短视”，由于缺乏长远规划，反应式智能体容易陷入局部最优，难以完成需要多步骤协调的复杂任务。
 
-- **规划式智能体(Deliberative Agents)**
+- <strong>规划式智能体(Deliberative Agents)</strong>
 
-与反应式智能体相对，规划式（或称审议式）智能体在行动前会进行复杂的思考和规划。它们不会立即对感知做出反应，而是会先利用其内部的世界模型，系统地探索未来的各种可能性，评估不同行动序列的后果，以期找到一条能够达成目标的最佳路径 。**基于目标**和**基于效用**的智能体是典型的规划式智能体。
+与反应式智能体相对，规划式（或称审议式）智能体在行动前会进行复杂的思考和规划。它们不会立即对感知做出反应，而是会先利用其内部的世界模型，系统地探索未来的各种可能性，评估不同行动序列的后果，以期找到一条能够达成目标的最佳路径 。<strong>基于目标</strong>和<strong>基于效用</strong>的智能体是典型的规划式智能体。
 
 可以将其决策过程类比为一位棋手。他不会只看眼前的一步，而是会预想对手可能的应对，并规划出后续几步甚至十几步的棋路。这种深思熟虑的能力使其能够处理复杂的、需要长远眼光的任务，例如制定一份商业计划或规划一次长途旅行。它们的优势在于决策的战略性和远见。然而，这种优势的另一面是高昂的时间和计算成本。在瞬息万变的环境中，当规划式智能体还在深思熟虑时，采取行动的最佳时机可能早已过去。
 
-- **混合式智能体(Hybrid Agents)**
+- <strong>混合式智能体(Hybrid Agents)</strong>
 
-现实世界的复杂任务，往往既需要即时反应，也需要长远规划。例如，一个火星探测车既要能快速躲避滚落的岩石（反应性），又要能规划抵达下一个考察点的长期路径（规划性）。因此，**混合式智能体**应运而生，它旨在结合两者的优点，实现反应与规划的平衡。
+现实世界的复杂任务，往往既需要即时反应，也需要长远规划。例如，一个火星探测车既要能快速躲避滚落的岩石（反应性），又要能规划抵达下一个考察点的长期路径（规划性）。因此，<strong>混合式智能体</strong>应运而生，它旨在结合两者的优点，实现反应与规划的平衡。
 
 一种经典的混合架构是分层设计：底层是一个快速的反应模块，处理紧急情况和基本动作；高层则是一个审慎的规划模块，负责制定长远目标。而现代的LLM智能体，则展现了一种更灵活的混合模式。它们通常在一个“思考-行动-观察”的循环中运作，巧妙地将两种模式融为一体：
 
-- **规划(Reasoning)** ：在“思考”阶段，LLM分析当前状况，规划出下一步的合理行动。这是一个审议过程。
-- **反应(Acting & Observing)** ：在“行动”和“观察”阶段，智能体与外部工具或环境交互，并立即获得反馈。这是一个反应过程。
+- <strong>规划(Reasoning)</strong> ：在“思考”阶段，LLM分析当前状况，规划出下一步的合理行动。这是一个审议过程。
+- <strong>反应(Acting & Observing)</strong> ：在“行动”和“观察”阶段，智能体与外部工具或环境交互，并立即获得反馈。这是一个反应过程。
 
 通过这种方式，智能体将一个需要长远规划的宏大任务，分解为一系列“规划-反应”的微循环。这使其既能灵活应对环境的即时变化，又能通过连贯的步骤，最终完成复杂的长期目标。
 
-**（3）基于知识表示的分类**
+<strong>（3）基于知识表示的分类</strong>
 
 这是一个更根本的分类维度，它探究智能体用以决策的知识，究竟是以何种形式存于其“思想”之中。这个问题是人工智能领域一场持续半个多世纪的辩论核心，并塑造了两种截然不同的AI文化。
 
-- **符号主义AI（Symbolic AI）**
+- <strong>符号主义AI（Symbolic AI）</strong>
 
 符号主义，常被称为传统人工智能，其核心信念是：智能源于对符号的逻辑操作。这里的符号是人类可读的实体（如词语、概念），操作则遵循严格的逻辑规则，如图1.4左侧所示。这好比一位一丝不苟的图书管理员，将世界知识整理为清晰的规则库和知识图谱。
 
 其主要优势在于透明和可解释。由于推理步骤明确，其决策过程可以被完整追溯，这在金融、医疗等高风险领域至关重要。然而，其“阿喀琉斯之踵”在于脆弱性：它依赖于一个完备的规则体系，但在充满模糊和例外的现实世界中，任何未被覆盖的新情况都可能导致系统失灵，这就是所谓的“知识获取瓶颈”。
 
-- **亚符号主义AI（Sub-symbolic AI）**
+- <strong>亚符号主义AI（Sub-symbolic AI）</strong>
 
 亚符号主义，或称连接主义，则提供了一幅截然不同的图景。在这里，知识并非显式的规则，而是内隐地分布在一个由大量神经元组成的复杂网络中，是从海量数据中学习到的统计模式。神经网络和深度学习是其代表。
 
 如图1.4中间所示，如果说符号主义AI是图书管理员，那么亚符号主义AI就像一个牙牙学语的孩童 。他不是通过学习“猫有四条腿、毛茸茸、会喵喵叫”这样的规则来认识猫的，而是在看过成千上万张猫的图片后，大脑中的神经网络能辨识出“猫”这个概念的视觉模式 。这种方法的强大之处在于其模式识别能力和对噪声数据的鲁棒性 。它能够轻松处理图像、声音等非结构化数据，这在符号主义AI看来是极其困难的任务。
 
-然而，这种强大的直觉能力也伴随着不透明性。亚符号主义系统通常被视为一个**黑箱（Black Box）**。它能以惊人的准确率识别出图片中的猫，但你若问它“为什么你认为这是猫？”，它很可能无法给出一个合乎逻辑的解释。此外，它在纯粹的逻辑推理任务上表现不佳，有时会产生看似合理却事实错误的幻觉 。
+然而，这种强大的直觉能力也伴随着不透明性。亚符号主义系统通常被视为一个<strong>黑箱（Black Box）</strong>。它能以惊人的准确率识别出图片中的猫，但你若问它“为什么你认为这是猫？”，它很可能无法给出一个合乎逻辑的解释。此外，它在纯粹的逻辑推理任务上表现不佳，有时会产生看似合理却事实错误的幻觉 。
 
-- **神经符号主义AI（Neuro-Symbolic AI）**
+- <strong>神经符号主义AI（Neuro-Symbolic AI）</strong>
 
 长久以来，符号主义和亚符号主义这两大阵营如同两条平行线，各自发展。为克服上述两种范式的局限，一种“大和解”的思想开始兴起，这就是神经符号主义AI，也称神经符号混合主义。它的目标，是融合两大范式的优点，创造出一个既能像神经网络一样从数据中学习，又能像符号系统一样进行逻辑推理的混合智能体。它试图弥合感知与认知、直觉与理性之间的鸿沟。诺贝尔经济学奖得主丹尼尔·卡尼曼（Daniel Kahneman）在其著作《思考，快与慢》（Thinking, Fast and Slow）中提出的双系统理论，为我们理解神经符号主义提供了一个绝佳的类比^[2]^，如图1.4所示：
 
-- **系统1**是快速、凭直觉、并行的思维模式，类似于亚符号主义AI强大的模式识别能力。
-- **系统2**是缓慢、有条理、基于逻辑的审慎思维，恰如符号主义AI的推理过程。
+- <strong>系统1</strong>是快速、凭直觉、并行的思维模式，类似于亚符号主义AI强大的模式识别能力。
+- <strong>系统2</strong>是缓慢、有条理、基于逻辑的审慎思维，恰如符号主义AI的推理过程。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/1-figures/1757242319667-4.png" alt="图片描述" width="90%"/>
@@ -141,12 +141,12 @@
 
 ## 1.2 智能体与环境交互
 
-前一节我们讲解了智能体的不同类型。然而，仅有内部决策逻辑不足以实现目标，智能体必须通过与外部环境的持续互动来执行任务。其运作的核心是一个持续的**智能体循环（Agent Loop）**，它将复杂的任务分解为一系列标准的交互步骤，通常包括：
+前一节我们讲解了智能体的不同类型。然而，仅有内部决策逻辑不足以实现目标，智能体必须通过与外部环境的持续互动来执行任务。其运作的核心是一个持续的<strong>智能体循环（Agent Loop）</strong>，它将复杂的任务分解为一系列标准的交互步骤，通常包括：
 
-1. **感知(Perception)** ：智能体接收并解析来自用户或环境的输入信息，例如用户指令或上一步的行动结果。
-2. **思考(Thought)** ：基于感知到的信息，智能体的核心模型进行规划，更新一个行动计划。这可能包括将复杂任务分解为子任务，或在众多可用工具中选择最合适的一个。
-3. **行动(Action)** ：智能体调用选定的工具执行计划中的具体步骤，对环境施加影响。
-4. **观察(Observation)** ：智能体评估行动产生的结果，并将其作为新一轮循环的输入，用以调整后续计划。
+1. <strong>感知(Perception)</strong> ：智能体接收并解析来自用户或环境的输入信息，例如用户指令或上一步的行动结果。
+2. <strong>思考(Thought)</strong> ：基于感知到的信息，智能体的核心模型进行规划，更新一个行动计划。这可能包括将复杂任务分解为子任务，或在众多可用工具中选择最合适的一个。
+3. <strong>行动(Action)</strong> ：智能体调用选定的工具执行计划中的具体步骤，对环境施加影响。
+4. <strong>观察(Observation)</strong> ：智能体评估行动产生的结果，并将其作为新一轮循环的输入，用以调整后续计划。
 
 这个循环构成了所有LLM智能体运作的基本模式，如图1.5所示。1.2.1节将从环境的构成入手，进一步探讨该交互机制的属性及其对智能体设计的影响。
 
@@ -157,7 +157,7 @@
 
 ### 1.2.1 任务环境的特性
 
-要理解智能体的运作，我们必须先理解它所处的**任务环境**。在人工智能领域，通常使用**PEAS模型**来精确描述一个任务环境，即分析其**性能度量(Performance)、环境(Environment)、执行器(Actuators)和传感器(Sensors)** 。以一个旅行规划智能体为例，下表1.2展示了如何运用PEAS模型对其任务环境进行规约。
+要理解智能体的运作，我们必须先理解它所处的<strong>任务环境</strong>。在人工智能领域，通常使用<strong>PEAS模型</strong>来精确描述一个任务环境，即分析其<strong>性能度量(Performance)、环境(Environment)、执行器(Actuators)和传感器(Sensors)</strong> 。以一个旅行规划智能体为例，下表1.2展示了如何运用PEAS模型对其任务环境进行规约。
 
 <div align="center">
   <p>表 1.2 旅行规划智能体的PEAS描述</p>
@@ -166,21 +166,21 @@
 
 在实践中，LLM智能体所处的数字环境展现出若干复杂特性，这些特性直接影响着智能体的设计。
 
-首先，环境通常是**部分可观察的**。例如，一个购物智能体无法一次性看到所有商品信息，只能通过逐页访问来逐步构建对环境的认知，这就要求智能体必须具备记忆和状态追踪能力。
+首先，环境通常是<strong>部分可观察的</strong>。例如，一个购物智能体无法一次性看到所有商品信息，只能通过逐页访问来逐步构建对环境的认知，这就要求智能体必须具备记忆和状态追踪能力。
 
-其次，行动的结果也并非总是确定的。根据结果的可预测性，环境可分为**确定性**和**随机性**。当智能体执行本地代码进行数学计算时，结果是确定的；但当它调用一个实时变化的搜索引擎API时，结果便带有随机性，这就要求智能体必须具备容错和处理不确定性的能力。
+其次，行动的结果也并非总是确定的。根据结果的可预测性，环境可分为<strong>确定性</strong>和<strong>随机性</strong>。当智能体执行本地代码进行数学计算时，结果是确定的；但当它调用一个实时变化的搜索引擎API时，结果便带有随机性，这就要求智能体必须具备容错和处理不确定性的能力。
 
-此外，环境中还可能存在其他行动者，从而形成**多智能体(Multi-agent)** 环境。在这种情况下，智能体之间需要协作或竞争，一个智能体的行动会成为另一个智能体环境中的变量，这对智能体的沟通和协调能力提出了更高要求。
+此外，环境中还可能存在其他行动者，从而形成<strong>多智能体(Multi-agent)</strong> 环境。在这种情况下，智能体之间需要协作或竞争，一个智能体的行动会成为另一个智能体环境中的变量，这对智能体的沟通和协调能力提出了更高要求。
 
-最后，几乎所有任务都发生在**序贯**且**动态**的环境中。“序贯”意味着当前动作会影响未来；而“动态”则意味着环境自身可能在智能体决策时发生变化。这就要求智能体的“感知-思考-行动-观察”循环必须能够快速、灵活地适应持续变化的世界。
+最后，几乎所有任务都发生在<strong>序贯</strong>且<strong>动态</strong>的环境中。“序贯”意味着当前动作会影响未来；而“动态”则意味着环境自身可能在智能体决策时发生变化。这就要求智能体的“感知-思考-行动-观察”循环必须能够快速、灵活地适应持续变化的世界。
 
 ### 1.2.2 环境交互的协议与接口
 
-LLM智能体与环境的互动需要一套明确的**交互协议（Interaction Protocol）**来规范信息的格式与流程。该协议的核心，体现在对智能体行动的结构化定义上。
+LLM智能体与环境的互动需要一套明确的<strong>交互协议（Interaction Protocol）</strong>来规范信息的格式与流程。该协议的核心，体现在对智能体行动的结构化定义上。
 
-在诸如**ReAct（Reasoning and Acting）**等现代框架中，智能体的每一次输出通常是一段特殊格式的文本。其中不仅包含了要执行的行动本身，还明确展示了该行动之前的思考过程。
+在诸如<strong>ReAct（Reasoning and Acting）</strong>等现代框架中，智能体的每一次输出通常是一段特殊格式的文本。其中不仅包含了要执行的行动本身，还明确展示了该行动之前的思考过程。
 
-这个“思考”部分是智能体内部决策的快照，它阐述了智能体如何**分解任务**、如何根据上一步的观察结果进行**自我反思**，以及最终决定下一步具体行动的**策略规划**。例如，一个正在规划旅行的智能体可能会生成如下格式化文本：
+这个“思考”部分是智能体内部决策的快照，它阐述了智能体如何<strong>分解任务</strong>、如何根据上一步的观察结果进行<strong>自我反思</strong>，以及最终决定下一步具体行动的<strong>策略规划</strong>。例如，一个正在规划旅行的智能体可能会生成如下格式化文本：
 
 ```Bash
 Thought: 用户想知道北京的天气。我需要调用天气查询工具。
@@ -199,11 +199,11 @@ Observation: 北京当前天气为晴，气温25摄氏度，微风。
 
 通过这个由`Thought`, `Action`, `Observation`构成的循环，LLM智能体得以将内部的语言推理能力，与外部环境的真实信息和工具操作能力结合起来，从而在一个明确的接口上，完成对复杂任务的逐步拆解和执行。因此，设计一个清晰、稳定且功能恰当的工具接口，是实现有效LLM智能体行为的工程学前提。
 
-**标准化接口组件定义**
+<strong>标准化接口组件定义</strong>
 
 `Perception-Thought-Action-Observation` 循环是通过一套标准化的接口组件来实现的。为确保系统的可扩展性与可维护性，这些接口遵循单一职责原则，分别对应循环中的一个关键环节。下面我们将对这四个核心组件进行定义。
 
-**接口1：感知器**
+<strong>接口1：感知器</strong>
 
 感知器负责处理输入信息，将原始数据转化为智能体可理解的格式：
 
@@ -225,7 +225,7 @@ class PerceptionInterface:
 ```
 ~~~
 
-**接口2：思考器**
+<strong>接口2：思考器</strong>
 
 思考器基于感知结果进行推理和规划：
 
@@ -249,7 +249,7 @@ class ThinkingInterface:
         pass
 ```
 
-**接口3：执行器**
+<strong>接口3：执行器</strong>
 
 执行器负责将计划转化为具体的工具调用：
 
@@ -269,7 +269,7 @@ class ExecutionInterface:
         pass
 ```
 
-**接口4：观察器**
+<strong>接口4：观察器</strong>
 
 观察器处理执行结果，生成反馈信息：
 
@@ -289,7 +289,7 @@ class ObservationInterface:
         pass
 ```
 
-**统一的智能体接口**
+<strong>统一的智能体接口</strong>
 
 这四个组件通过一个统一的智能体接口进行协调：
 
@@ -322,7 +322,7 @@ class AgentInterface:
 
 接下来，我们将把这个循环分解为四个逻辑阶段，并逐一探讨实现这些阶段所需的核心组件。
 
-**第一步：感知与理解**
+<strong>第一步：感知与理解</strong>
 
 感知是整个信息处理流程的起点，是智能体接收外部输入的接口。其核心职责是将来自外部世界的原始、非结构化数据（如用户的自然语言查询、API的JSON响应等），转换为后续模块（尤其是思考模块）能够处理的结构化内部表述 (Internal Representation)。
 
@@ -368,7 +368,7 @@ class PerceptionImpl:
             self.context.pop(0)
 ```
 
-**第二步：思考与规划**
+<strong>第二步：思考与规划</strong>
 
 思考与规划模块是智能体的决策单元。它接收来自感知模块的结构化信息，基于当前状态和可用资源（如工具集）进行推理、分析、任务分解，并最终制定出具体的行动计划。
 
@@ -414,7 +414,7 @@ class ThinkingImpl:
             }
 ```
 
-**第三步：执行与操作**
+<strong>第三步：执行与操作</strong>
 
 执行模块是连接智能体内部决策与外部世界的桥梁，是行动指令的实现层。它负责解析思考模块生成的行动计划，并调用相应的工具（如函数、API、数据库查询等）来完成具体任务。该模块使得智能体能够对外部环境产生实际影响或从中获取信息。执行结果的成功与否、返回的数据或错误信息，将成为下一阶段“观察”模块的关键输入。
 
@@ -439,7 +439,7 @@ class ExecutionImpl:
             }
         
         try:
-            result = self.tools[tool_name](**parameters)
+            result = self.tools[tool_name](<strong>parameters)
             return {
                 "success": True,
                 "data": result,
@@ -465,14 +465,14 @@ class ExecutionImpl:
         return weather_data.get(city, f"未能查询到 {city} 的天气信息。")
 ```
 
-**第四步：观察与学习**
+</strong>第四步：观察与学习<strong>
 
 行动的完成并不意味着流程的结束，而是形成反馈闭环的关键一步。观察模块负责接收和评估执行阶段的输出，并将其转化为智能体内部可以理解的观察结果。
 
 此阶段的核心功能是：
 
-1. **评估行动结果**：判定上一步行动的成败，并解析成功时返回的数据或失败时产生的错误信息。
-2. **决策后续流程**：根据评估结果，确定下一步的走向。例如，成功获取数据则准备向用户响应；失败则可能需要将错误信息反馈给思考模块以进行重新规划。
+1. </strong>评估行动结果<strong>：判定上一步行动的成败，并解析成功时返回的数据或失败时产生的错误信息。
+2. </strong>决策后续流程<strong>：根据评估结果，确定下一步的走向。例如，成功获取数据则准备向用户响应；失败则可能需要将错误信息反馈给思考模块以进行重新规划。
 
 这个观察结果将作为新的信息输入，反馈给认知循环的下一个迭代，从而使智能体能够根据其行为的实际效果来调整后续策略。
 
@@ -508,7 +508,7 @@ class ObservationImpl:
             return f"处理请求时出错：{observation['observation'].split('：')[1]}"
 ```
 
-**完整的智能体行动循环演示**
+</strong>完整的智能体行动循环演示**
 
 最后，我们将上述四个独立的模块化组件进行集成，构建一个完整的 `AgentLoopDemo`。这个类展示了四个阶段如何被依次调用和协同工作，形成一个从接收原始输入到生成最终响应的、端到端的处理流水线，具体流程如图1.6所示。
 
@@ -628,7 +628,7 @@ if __name__ == "__main__":
 pip install ddgs openai requests
 ```
 
-智能体需要一个核心组件来理解和生成语言，这个角色由LLM承担。考虑到LLM服务的多样性，为了保证代码的模块化与可扩展性，我们首先创建一个统一的**客户端（Client）**来封装与LLM的交互。首先，我们定义一个标准接口。在面向对象编程中，这通常通过**抽象基类（Abstract Base Class）**来实现。该基类定义了一个所有LLM客户端都必须遵守的规范，即它们都必须实现一个名为 `generate` 的方法。这种设计模式确保了主逻辑的稳定性：无论未来底层实现如何变更，主程序都依赖于统一的接口进行调用。
+智能体需要一个核心组件来理解和生成语言，这个角色由LLM承担。考虑到LLM服务的多样性，为了保证代码的模块化与可扩展性，我们首先创建一个统一的<strong>客户端（Client）</strong>来封装与LLM的交互。首先，我们定义一个标准接口。在面向对象编程中，这通常通过<strong>抽象基类（Abstract Base Class）</strong>来实现。该基类定义了一个所有LLM客户端都必须遵守的规范，即它们都必须实现一个名为 `generate` 的方法。这种设计模式确保了主逻辑的稳定性：无论未来底层实现如何变更，主程序都依赖于统一的接口进行调用。
 
 ```Python
 class BaseLLM:
@@ -645,9 +645,9 @@ class BaseLLM:
 
 这个类主要负责以下三项任务：
 
-1. **初始化 (`init`)** : 实例化时，接收API密钥、服务地址和模型名称作为参数，并使用这些信息配置底层的 `openai` 客户端。
-2. **生成文本 (`generate`)** : 封装了调用LLM的核心逻辑。它接收一个提示（prompt），构建符合API规范的消息结构，发送请求，然后解析并返回模型生成的文本。
-3. **错误处理**: 使用 `try...except` 结构来捕获执行过程中可能出现的网络或API异常，以增强程序的鲁棒性。
+1. <strong>初始化 (`init`)</strong> : 实例化时，接收API密钥、服务地址和模型名称作为参数，并使用这些信息配置底层的 `openai` 客户端。
+2. <strong>生成文本 (`generate`)</strong> : 封装了调用LLM的核心逻辑。它接收一个提示（prompt），构建符合API规范的消息结构，发送请求，然后解析并返回模型生成的文本。
+3. <strong>错误处理</strong>: 使用 `try...except` 结构来捕获执行过程中可能出现的网络或API异常，以增强程序的鲁棒性。
 
 ```Python
 from openai import OpenAI
@@ -775,10 +775,10 @@ def information_retrieval_agent(user_question: str, llm_client: BaseLLM):
 
 最后，程序的入口部分需要进行以下处理：
 
-1. **配置**: 定义与LLM API通信所需的凭证，如API密钥、服务URL和模型标识符。
-2. **实例化**: 根据配置信息，创建 `OpenAICompatibleClient` 的实例。
-3. **启动**: 调用 `information_retrieval_agent` 函数，传入一个示例问题以演示智能体的工作流程。
-4. **交互**: 提供一个命令行输入接口，允许用户提交自定义问题，与智能体进行交互。
+1. <strong>配置</strong>: 定义与LLM API通信所需的凭证，如API密钥、服务URL和模型标识符。
+2. <strong>实例化</strong>: 根据配置信息，创建 `OpenAICompatibleClient` 的实例。
+3. <strong>启动</strong>: 调用 `information_retrieval_agent` 函数，传入一个示例问题以演示智能体的工作流程。
+4. <strong>交互</strong>: 提供一个命令行输入接口，允许用户提交自定义问题，与智能体进行交互。
 
 ```Python
 if __name__ == "__main__":
@@ -829,20 +829,20 @@ if __name__ == "__main__":
 
 本节将探讨这两种交互模式，通过具体案例，展示我们如何与LLM的智能体的构建者”，转变为其“用户”、“伙伴”乃至“管理者”。
 
-**（1）作为开发者工具的智能体**
+<strong>（1）作为开发者工具的智能体</strong>
 
 在这种模式下，智能体被深度集成到开发者的工作流中，作为一种强大的辅助工具。它增强而非取代开发者的角色，通过自动化处理繁琐、重复的任务，让开发者能更专注于创造性的核心工作。这种人机协同的方式，极大地提升了软件开发的效率与质量。
 
 目前，市场上涌现了多款优秀的AI编程辅助工具，它们虽然均能提升开发效率，但在实现路径和功能侧重上各有千秋：
 
-- **GitHubCopilot**: 作为该领域最具影响力的产品之一，Copilot 由 GitHub 与 OpenAI 联合开发。它深度集成于 Visual Studio Code等主流编辑器中，以其强大的代码自动补全能力而闻名。开发者在编写代码时，Copilot 能实时提供整行甚至整个函数块的建议。近年来，它也通过 Copilot Chat 扩展了对话式编程的能力，允许开发者在编辑器内通过聊天解决编程问题。
-- **Claude Code**: Claude Code 是由 Anthropic 开发的 AI 编程助手，旨在通过自然语言指令帮助开发者在终端中高效地完成编码任务。它能够理解完整的代码库结构，执行代码编辑、测试和调试等操作，支持从描述功能到代码实现的全流程开发。Claude Code 还提供了无交互（headless）模式，适用于 CI、pre-commit hooks、构建脚本和其他自动化场景，为开发者提供了强大的命令行编程体验。
-- **Trae**: 作为新兴的 AI 编程工具，Trae 专注于为开发者提供智能化的代码生成和优化服务。它通过深度学习技术分析代码模式，能够为开发者提供精准的代码建议和自动化重构方案。Trae 的特色在于其轻量级的设计和快速响应能力，特别适合需要频繁迭代和快速原型开发的场景。
-- **Cursor**: 与上述主要作为插件或集成功能存在的工具不同，Cursor 则选择了一条更具整合性的路径，它本身就是一个AI原生的代码编辑器。它并非在现有编辑器上增加AI功能，而是在设计之初就将AI交互作为核心。除了具备顶级的代码生成和聊天能力外，它更强调让AI理解整个代码库的上下文，从而实现更深层次的问答、重构和调试。
+- <strong>GitHubCopilot</strong>: 作为该领域最具影响力的产品之一，Copilot 由 GitHub 与 OpenAI 联合开发。它深度集成于 Visual Studio Code等主流编辑器中，以其强大的代码自动补全能力而闻名。开发者在编写代码时，Copilot 能实时提供整行甚至整个函数块的建议。近年来，它也通过 Copilot Chat 扩展了对话式编程的能力，允许开发者在编辑器内通过聊天解决编程问题。
+- <strong>Claude Code</strong>: Claude Code 是由 Anthropic 开发的 AI 编程助手，旨在通过自然语言指令帮助开发者在终端中高效地完成编码任务。它能够理解完整的代码库结构，执行代码编辑、测试和调试等操作，支持从描述功能到代码实现的全流程开发。Claude Code 还提供了无交互（headless）模式，适用于 CI、pre-commit hooks、构建脚本和其他自动化场景，为开发者提供了强大的命令行编程体验。
+- <strong>Trae</strong>: 作为新兴的 AI 编程工具，Trae 专注于为开发者提供智能化的代码生成和优化服务。它通过深度学习技术分析代码模式，能够为开发者提供精准的代码建议和自动化重构方案。Trae 的特色在于其轻量级的设计和快速响应能力，特别适合需要频繁迭代和快速原型开发的场景。
+- <strong>Cursor</strong>: 与上述主要作为插件或集成功能存在的工具不同，Cursor 则选择了一条更具整合性的路径，它本身就是一个AI原生的代码编辑器。它并非在现有编辑器上增加AI功能，而是在设计之初就将AI交互作为核心。除了具备顶级的代码生成和聊天能力外，它更强调让AI理解整个代码库的上下文，从而实现更深层次的问答、重构和调试。
 
 当然还有许多优秀的工具没有例举，为了更具体地展示此类工具如何与开发者进行日常协同，我们将选择 Cursor 作为使用案例。因为它编辑器即智能体的设计理念，能完整地体现AI作为开发者工具的交互模式。下面，我们将通过几个常见的开发场景，展示如何与Cursor这样的工具型智能体进行协作。
 
-**场景一：快速生成代码，从零到一创建一个“贪吃蛇”游戏。**
+<strong>场景一：快速生成代码，从零到一创建一个“贪吃蛇”游戏。</strong>
 
 本场景将演示如何利用 Cursor 从一个完全空白的项目开始，通过一次综合性的自然语言指令，生成一个包含多个文件的完整网页应用。我们的目标是创建一个经典的“贪吃蛇”游戏，以此展示 AI 在项目启动阶段快速生成原型代码的能力。
 
@@ -873,7 +873,7 @@ Cursor 接收到指令后，会立即分析需求，并同时为这三个文件
   <p>图 1.8 贪吃蛇游戏运行界面</p>
 </div>
 
-**场景二：理解与重构现有代码，优化一个复杂的函数。**
+<strong>场景二：理解与重构现有代码，优化一个复杂的函数。</strong>
 
 软件开发不仅仅是创造新功能，更多的时候是在维护和优化已有的代码。随着项目迭代，我们经常会遇到一些“代码坏味道”，其中最常见的就是逻辑臃肿、职责不清的全能函数。本场景将演示如何利用 Cursor，将一个难以维护的复杂函数，优雅地重构为清晰、模块化的代码。
 
@@ -881,9 +881,9 @@ Cursor 接收到指令后，会立即分析需求，并同时为这三个文件
 
 这样的函数存在明显的问题：
 
-- **难以阅读：** 任何开发者想理解完整的订单流程，都必须从头到尾阅读整个函数。
-- **难以修改：** 如果只想修改库存更新的逻辑，也必须小心翼翼地在庞大的函数体中寻找目标代码，稍有不慎就可能影响到支付或验证等其他环节。
-- **难以测试：** 无法对验证、计价、支付等子任务进行独立的单元测试。
+- <strong>难以阅读：</strong> 任何开发者想理解完整的订单流程，都必须从头到尾阅读整个函数。
+- <strong>难以修改：</strong> 如果只想修改库存更新的逻辑，也必须小心翼翼地在庞大的函数体中寻找目标代码，稍有不慎就可能影响到支付或验证等其他环节。
+- <strong>难以测试：</strong> 无法对验证、计价、支付等子任务进行独立的单元测试。
 
 以下是这个函数的原始代码 (order.js)，它是一个典型的需要重构的对象：
 
@@ -945,7 +945,7 @@ Cursor 的 AI 会立刻理解你的意图，分析函数内部的逻辑块，并
 
 确认方案后，点击确认接受的按钮，重构便即刻完成。原来的函数被一个清晰的主流程函数和多个职责单一的辅助函数所取代。最终，我们没有手动修改一行代码。通过一条自然语言指令，一个臃肿的函数就被重构了。重构后的 `processOrder` 函数本身变得极为简洁，其代码几乎就像是业务流程的伪代码，清晰地描述了处理订单的每一个步骤。而每个具体的步骤则被封装在独立的、命名清晰的私有函数中，它们易于理解、易于独立测试，也更易于未来的维护和扩展。这充分展示了 AI 在代码理解和重构方面的强大能力，使其成为提升现有代码库质量的得力助手。
 
-**场景三：辅助调试，快速定位并修复运行时错误。**
+<strong>场景三：辅助调试，快速定位并修复运行时错误。</strong>
 
 调试是软件开发中不可或缺的一环，但有时排查一个看似简单的运行时错误也可能耗费大量时间。本场景将展示当程序抛出错误时，如何利用 Cursor 快速理解错误原因、定位问题，并获得高质量的修复方案，从而显著提高调试效率。
 
@@ -994,19 +994,19 @@ Cursor 会结合错误信息和 `app.js` 的源代码进行综合分析，迅速
 
 如图1.11所示，通过一次简单的“复制-粘贴-提问”，我们完成了传统调试中多个步骤才能完成的工作。我们不仅立刻明白了错误的根本原因（HTML 结构与 JavaScript 脚本不匹配），还直接获得了一段经过优化的修复代码。这段新代码通过增加一个前置检查，提高了程序的容错性，能够有效避免未来同类错误的发生。
 
-**（2）作为自主协作者的智能体**
+<strong>（2）作为自主协作者的智能体</strong>
 
 与作为工具辅助人类不同，第二种交互模式将智能体的自动化程度提升到了一个全新的层次，自主协作者。在这种模式下，我们不再是手把手地指导AI完成每一步，而是将一个高层级的目标委托给它。智能体会像一个真正的项目成员一样，独立地进行规划、推理、执行和反思，直到最终交付成果。这种从助手到协作者的转变，使得LLM智能体更深的进入了大众的视野。它标志着我们与AI的关系从“命令-执行”演变为“目标-委托”。智能体不再是被动的工具，而是主动的目标追求者。
 
 当前，实现这种自主协作的思路百花齐放，涌现了大量优秀的框架和产品，如BabyAGI、AutoGPT、CrewAI、AutoGen等。它们虽然在具体实现上各有侧重，但其核心思想都是赋予AI更大程度的自主权。为了清晰地展示这一领域的关键思想脉络，我们将选取三个具有里程碑意义的案例进行介绍。它们分别代表了三种截然不同的架构范式：
 
-1. **AgentGPT**：它是一个典型的单智能体、递归循环的范例。其核心在于一个强大的通用智能体通过“思考-规划-行动”的闭环，不断自我提示，以完成一个开放式的高层级目标。
-2. **CAMEL**：它引入了双智能体、角色扮演的协作框架。通过为两个智能体（一个“任务规划者”和一个“任务执行者”）设定明确的角色和沟通协议，让它们在一个结构化的对话中协同完成任务。
-3. **Manus AI**：这是一个多智能体、多模型的集成系统，模拟了一个真实的企业部门或专家团队。它内部包含多个各司其职的专业子智能体（如规划、研究、执行、验证），它们并行协作，共同完成一个复杂的端到端任务。
+1. <strong>AgentGPT</strong>：它是一个典型的单智能体、递归循环的范例。其核心在于一个强大的通用智能体通过“思考-规划-行动”的闭环，不断自我提示，以完成一个开放式的高层级目标。
+2. <strong>CAMEL</strong>：它引入了双智能体、角色扮演的协作框架。通过为两个智能体（一个“任务规划者”和一个“任务执行者”）设定明确的角色和沟通协议，让它们在一个结构化的对话中协同完成任务。
+3. <strong>Manus AI</strong>：这是一个多智能体、多模型的集成系统，模拟了一个真实的企业部门或专家团队。它内部包含多个各司其职的专业子智能体（如规划、研究、执行、验证），它们并行协作，共同完成一个复杂的端到端任务。
 
 接下来，我们将通过具体的案例，逐一剖析这三种自主协作模式的技术特点。
 
-**案例一：AgentGPT**
+<strong>案例一：AgentGPT</strong>
 
 AgentGPT是最早引发大众对自主智能体广泛关注的开源项目之一。其核心机制在于一个强大的通用智能体，通过一个持续的“思考-规划-行动”闭环，不断地自我提示，以完成一个开放式的、高层级的目标。用户仅需提供一个最终目标，智能体便会自主地进行任务分解，然后利用各种工具（如网页搜索、文件读写、代码执行）去逐一完成子任务，并根据执行结果不断反思和调整后续计划。
 
@@ -1035,11 +1035,11 @@ AgentGPT的实操过程淋漓尽致地展现了单智能体范式的力量。它
 
 更核心的缺陷在于其递归循环的脆弱性。这个不知疲倦的循环也可能使其陷入低效的自证陷阱，在某个不重要的细节上反复搜索，或因为一次错误的解读而导致后续所有步骤跑偏，消耗大量时间和计算资源。由于缺少一个批判者或是合作者的角色来审视其规划，它的策略完全依赖于自身的推理链。一旦最初的思路出现偏差，整个过程便可能走向错误的方向，而无人制止。
 
-总而言之，AgentGPT作为一个单智能体循环项目的典范，证明了“目标-委托”模式的可行性。它像一个能力全面的独立顾问，能独自处理复杂的项目。但它的成功和其固有的单打独斗的局限性，也自然而然地引出了下一个问题：如果一个智能体容易犯错，那么引入另一个智能体进行监督和协作，是否会更有效？这便是我们下一个案例，CAMEL的**角色扮演（Role-Playing）**协作范式。
+总而言之，AgentGPT作为一个单智能体循环项目的典范，证明了“目标-委托”模式的可行性。它像一个能力全面的独立顾问，能独自处理复杂的项目。但它的成功和其固有的单打独斗的局限性，也自然而然地引出了下一个问题：如果一个智能体容易犯错，那么引入另一个智能体进行监督和协作，是否会更有效？这便是我们下一个案例，CAMEL的<strong>角色扮演（Role-Playing）</strong>协作范式。
 
-**案例二：CAMEL**
+<strong>案例二：CAMEL</strong>
 
-如果说AgentGPT是一个独自完成所有工作的个体主义者，那么CAMEL框架则探索了截然不同的协作路径。通过精心设计的**初始提示（Inception Prompting）**技术，CAMEL为两个AI智能体分配了不同的角色，一个扮演“任务规划者”（AI User），另一个扮演“任务执行者”（AI Assistant），让它们在一个高度结构化的对话中，通过相互启发和协作来完成任务。这种方案模拟真实世界中专家之间的合作。规划者负责提出想法、需求和高层级的方向，而执行者则负责提供技术方案、实现细节和可行性分析。在一定程度上，它解决了单智能体容易陷入自我逻辑闭环、缺乏外部视角纠偏的问题。
+如果说AgentGPT是一个独自完成所有工作的个体主义者，那么CAMEL框架则探索了截然不同的协作路径。通过精心设计的<strong>初始提示（Inception Prompting）</strong>技术，CAMEL为两个AI智能体分配了不同的角色，一个扮演“任务规划者”（AI User），另一个扮演“任务执行者”（AI Assistant），让它们在一个高度结构化的对话中，通过相互启发和协作来完成任务。这种方案模拟真实世界中专家之间的合作。规划者负责提出想法、需求和高层级的方向，而执行者则负责提供技术方案、实现细节和可行性分析。在一定程度上，它解决了单智能体容易陷入自我逻辑闭环、缺乏外部视角纠偏的问题。
 
 为了体验这种合作模式，我们设定一个需要金融领域知识和编程技术深度结合的任务：为股票市场开发一个交易机器人。在这个场景中，我们不再是向智能体下达一个开放式的目标，而是为其设定好分工明确的角色和初始任务，并观察这场自主的、结构化的设计讨论如何展开。
 
@@ -1061,7 +1061,7 @@ AgentGPT的实操过程淋漓尽致地展现了单智能体范式的力量。它
 
 CAMEL的协作模式通过角色分工，它有效地避免了单智能体在专业深度上的不足。规划者和执行者各自专注于自己擅长的领域，使得最终方案在交易策略和技术可行性上都得到了保障。然而，这种模式的成功高度依赖于初始角色的设定。如果角色定义不清晰或不恰当，整个对话可能会变得低效甚至无效。此外，但它在处理极其开放、模糊的任务方面可能存在局限。不过总的来说，CAMEL为我们展示了一种通过分工与合作来提升AI能力的有效途径。这自然也引出了更进一步的思考：如果两个智能体的合作就能如此高效，那么一个模拟真实团队、拥有多个不同角色的多智能体系统，又将释放出怎样的潜力呢？Manus AI为我们提供了一种可行途径。
 
-**案例三：Manus AI**
+<strong>案例三：Manus AI</strong>
 
 如果说AgentGPT是一个个体工作者，CAMEL是一个两人小组，那么Manus AI则代表了更高层次的组织形式：一个集成的、产品化的虚拟团队。它不再仅仅是一个开源框架或实验性项目，而是一个旨在交付完整、可用最终产品的自主系统。通过编排一个由多个各司职职的专业子智能体（如规划、研究、执行、验证）组成的团队，来处理复杂的端到端任务。用户只需提出一个高层级的需求，Manus AI就能像一个项目团队一样，在云端异步执行所有步骤，并最终交付一个成品，而非仅仅是文本或代码。
 
@@ -1092,22 +1092,22 @@ Manus AI接收到任务后，其内部的虚拟团队便开始了高效的协同
 
 Manus AI所代表的多智能体范式，其优势是显然的。它实现了从“生成内容”到“交付产品”的跨越，通过并行化处理，其开发效率远超单智能体或双智能体模式。然而，这种能力的背后是极高的编排复杂性。如何有效地管理和协调多个智能体、处理它们之间的依赖关系仍是一种巨大的技术挑战，并且整个过程对用户来说可能像一个黑箱。
 
-从AgentGPT的单智能体循环，到CAMEL的双智能体协作，再到Manus AI的多智能体交互，我们清晰地看到了自主智能体从简单工具向**代理式人工智能（Agentic AI）**演进的技术脉络。每一种范式都在尝试解决前一种的局限，共同推动着我们与AI协作的边界。
+从AgentGPT的单智能体循环，到CAMEL的双智能体协作，再到Manus AI的多智能体交互，我们清晰地看到了自主智能体从简单工具向<strong>代理式人工智能（Agentic AI）</strong>演进的技术脉络。每一种范式都在尝试解决前一种的局限，共同推动着我们与AI协作的边界。
 
 ## 1.3 多智能体系统简介
 
 ### 1.3.1 从个体到协作
 
-当任务的复杂性超越单个计算实体的能力上限时，分布式协作便成为一种必要的架构选择。在探索人工智能的初期，我们很容易被一个宏大的愿景所吸引：创造一个无所不知、无所不能的**通用人工智能（Artificial General Intelligence）**。然而，当尝试将当前智能体技术应用于真实世界的复杂场景时，全能个体的理想便会遭遇一系列现实挑战。单个通用智能体在应对真实世界的复杂问题时，会遭遇其单体架构带来的一系列挑战：
+当任务的复杂性超越单个计算实体的能力上限时，分布式协作便成为一种必要的架构选择。在探索人工智能的初期，我们很容易被一个宏大的愿景所吸引：创造一个无所不知、无所不能的<strong>通用人工智能（Artificial General Intelligence）</strong>。然而，当尝试将当前智能体技术应用于真实世界的复杂场景时，全能个体的理想便会遭遇一系列现实挑战。单个通用智能体在应对真实世界的复杂问题时，会遭遇其单体架构带来的一系列挑战：
 
-1. **专业深度的瓶颈** 真实世界的问题往往需要跨领域的深度知识。期望单个智能体同时具备多个领域（如软件工程、市场分析、创意设计）的顶尖专家能力，是不切实际的。这种单一实体承担所有角色的做法，其分析结果往往广度有余，深度不足。
-2. **信息获取的局限** 在分布式系统中，任何单一实体都只能拥有**局部视野（Local View）**，难以掌握全局的、实时的完整信息。例如，一个优化城市交通的智能体，无法瞬间获知每辆车的位置和每个信号灯的状态。基于不完整或延迟的信息进行决策，往往导致结果是次优解。
-3. **系统鲁棒性的脆弱** 单智能体的推理链较为脆弱。如果它在早期阶段做出一个错误的假设，后续所有规划都将建立在这个错误之上。由于缺乏外部的校验和修正机制，它**难以从早期错误中恢复**，可能因单点失败而导致整个任务的崩溃。
-4. **扩展与效率的挑战** 单体架构在可扩展性与效率方面也面临瓶颈。为一个庞大的单体智能体增加新功能，可能需要对核心架构进行复杂的修改。在效率上，它也只能线性处理任务。而通过将任务分解给多个并行的智能体（如Manus AI项目所展示的），则可以实现并行处理，极大提升复杂项目的执行效率。
+1. <strong>专业深度的瓶颈</strong> 真实世界的问题往往需要跨领域的深度知识。期望单个智能体同时具备多个领域（如软件工程、市场分析、创意设计）的顶尖专家能力，是不切实际的。这种单一实体承担所有角色的做法，其分析结果往往广度有余，深度不足。
+2. <strong>信息获取的局限</strong> 在分布式系统中，任何单一实体都只能拥有<strong>局部视野（Local View）</strong>，难以掌握全局的、实时的完整信息。例如，一个优化城市交通的智能体，无法瞬间获知每辆车的位置和每个信号灯的状态。基于不完整或延迟的信息进行决策，往往导致结果是次优解。
+3. <strong>系统鲁棒性的脆弱</strong> 单智能体的推理链较为脆弱。如果它在早期阶段做出一个错误的假设，后续所有规划都将建立在这个错误之上。由于缺乏外部的校验和修正机制，它<strong>难以从早期错误中恢复</strong>，可能因单点失败而导致整个任务的崩溃。
+4. <strong>扩展与效率的挑战</strong> 单体架构在可扩展性与效率方面也面临瓶颈。为一个庞大的单体智能体增加新功能，可能需要对核心架构进行复杂的修改。在效率上，它也只能线性处理任务。而通过将任务分解给多个并行的智能体（如Manus AI项目所展示的），则可以实现并行处理，极大提升复杂项目的执行效率。
 
-这些局限性共同指向一个核心问题：试图用中心化的单体架构，去解决本质上分布式、异构的现实世界问题，存在着根本性的错配。**多智能体系统（Multi-Agent System, MAS）**正是为应对这一挑战而生的计算范式。
+这些局限性共同指向一个核心问题：试图用中心化的单体架构，去解决本质上分布式、异构的现实世界问题，存在着根本性的错配。<strong>多智能体系统（Multi-Agent System, MAS）</strong>正是为应对这一挑战而生的计算范式。
 
-在学术界，MAS被定义为：一个由多个交互的、自主的智能体组成的计算系统，它们位于共享环境中，通过协作解决单个智能体难以完成的复杂问题。该系统由三个核心要素构成：**智能体（Agent）、环境（Environment）和交互（Interaction）**。鉴于前两部分已有探讨，本节的后续内容将聚焦于MAS的交互，并分析其通信、任务分配与协调策略。更多详细的多智能体介绍将会安排在后面的章节中。
+在学术界，MAS被定义为：一个由多个交互的、自主的智能体组成的计算系统，它们位于共享环境中，通过协作解决单个智能体难以完成的复杂问题。该系统由三个核心要素构成：<strong>智能体（Agent）、环境（Environment）和交互（Interaction）</strong>。鉴于前两部分已有探讨，本节的后续内容将聚焦于MAS的交互，并分析其通信、任务分配与协调策略。更多详细的多智能体介绍将会安排在后面的章节中。
 
 ### 1.3.2 多智能体系统的交互机制
 
@@ -1165,14 +1165,14 @@ JSON作为一种机器可读格式，确保了指令的无歧义性。通信模
 
 ### 1.3.3 多智能体系统的演进
 
-早在深度学习革命之前，多智能体系统的主流范式是基于符号主义AI构建的。这一时期的智能体，其智能源于人类专家编码的知识库和推理规则。它们是典型的**基于知识的系统（Knowledge-Based System）**，通过审议式推理（Deliberative Reasoning）进行决策。智能体之间则采用高度形式化的智能体通信语言（ACL）和协调协议（如模拟商业招标的合同网协议）进行交互，确保了通信的精确性和行为的可预测性。不过缺点也比较明显，即为智能体手动构建知识库成本极高（即知识工程瓶颈），且系统面对规则之外的未知情况时表现得非常脆弱。
+早在深度学习革命之前，多智能体系统的主流范式是基于符号主义AI构建的。这一时期的智能体，其智能源于人类专家编码的知识库和推理规则。它们是典型的<strong>基于知识的系统（Knowledge-Based System）</strong>，通过审议式推理（Deliberative Reasoning）进行决策。智能体之间则采用高度形式化的智能体通信语言（ACL）和协调协议（如模拟商业招标的合同网协议）进行交互，确保了通信的精确性和行为的可预测性。不过缺点也比较明显，即为智能体手动构建知识库成本极高（即知识工程瓶颈），且系统面对规则之外的未知情况时表现得非常脆弱。
 
 大语言模型的出现，从根本上重塑了多智能体系统，突破了传统范式的核心瓶颈。
 
-- **从显式知识库到隐式知识库**：LLM通过预训练内化了海量的世界知识，取代了需要手动构建的规则和事实，极大地降低了构建专业智能体的门槛。开发者只需通过**提示工程（Prompt Engineering）**即可“唤醒”其相应能力。
-- **从形式化语言到自然语言交互**：LLM使智能体能以自然语言为主要交互媒介，同时辅以JSON等结构化数据确保参数精确。这极大地提升了交互的灵活性和表现力，也便于人类的理解和介入。
-- **从逻辑匹配到生成式推理**：面对未知情况，LLM能够进行创造性的推理和规划，展现出强大的泛化能力，克服了传统符号系统的脆弱性。
-- **从静态角色到动态角色**：定义一个新角色，对LLM而言可能只是更换一段**系统提示（System Prompt）**，这为构建特质化的智能体团队提供了前所未有的便利。
+- <strong>从显式知识库到隐式知识库</strong>：LLM通过预训练内化了海量的世界知识，取代了需要手动构建的规则和事实，极大地降低了构建专业智能体的门槛。开发者只需通过<strong>提示工程（Prompt Engineering）</strong>即可“唤醒”其相应能力。
+- <strong>从形式化语言到自然语言交互</strong>：LLM使智能体能以自然语言为主要交互媒介，同时辅以JSON等结构化数据确保参数精确。这极大地提升了交互的灵活性和表现力，也便于人类的理解和介入。
+- <strong>从逻辑匹配到生成式推理</strong>：面对未知情况，LLM能够进行创造性的推理和规划，展现出强大的泛化能力，克服了传统符号系统的脆弱性。
+- <strong>从静态角色到动态角色</strong>：定义一个新角色，对LLM而言可能只是更换一段<strong>系统提示（System Prompt）</strong>，这为构建特质化的智能体团队提供了前所未有的便利。
 
 不过将基于LLM的新范式与传统的符号型范式完全对立起来，是一种过于简化的视角。LLM的出现并非宣告了符号主义的终结，恰恰相反，它为解决符号主义的固有瓶颈提供了新的工具，也让两种范式的融合成为可能。要理解这一点，我们首先需要对二者进行一个直观的对比，如表1.3所示。
 
@@ -1189,12 +1189,12 @@ JSON作为一种机器可读格式，确保了指令的无歧义性。通信模
 
 在本章中，我们共同踏上了探索智能体的初识之旅。我们的旅程从最基本的问题开始：
 
-- **什么是智能体？** 我们首先回顾了其在传统计算机科学中的定义，随后将焦点转向了由大语言模型驱动的智能体，理解了现代智能体所具备的感知、推理与行动能力。
-- **智能体如何分类？** 我们从内部决策架构、时间反应性以及知识表示等多个维度，对智能体进行了系统的分类。这为我们理解不同智能体的特性和适用场景打下了坚实的基础。
-- **智能体如何工作？** 我们深入探讨了智能体与环境交互的核心机制，行动循环。通过“感知-规划-行动-学习”的闭环，智能体得以在复杂的环境中完成任务。结合AgentGPT等真实案例，可以直观地看到了智能体在不同场景和不同设计模式下的具体体现。
-- **智能体如何协作？** 最后，我们将视野从单个智能体扩展到了由多个智能体组成的多智能体系统。不仅探讨了其协作的核心要素（如通信、任务分配与协调），还讲述了多智能体系统的演进过程。
+- <strong>什么是智能体？</strong> 我们首先回顾了其在传统计算机科学中的定义，随后将焦点转向了由大语言模型驱动的智能体，理解了现代智能体所具备的感知、推理与行动能力。
+- <strong>智能体如何分类？</strong> 我们从内部决策架构、时间反应性以及知识表示等多个维度，对智能体进行了系统的分类。这为我们理解不同智能体的特性和适用场景打下了坚实的基础。
+- <strong>智能体如何工作？</strong> 我们深入探讨了智能体与环境交互的核心机制，行动循环。通过“感知-规划-行动-学习”的闭环，智能体得以在复杂的环境中完成任务。结合AgentGPT等真实案例，可以直观地看到了智能体在不同场景和不同设计模式下的具体体现。
+- <strong>智能体如何协作？</strong> 最后，我们将视野从单个智能体扩展到了由多个智能体组成的多智能体系统。不仅探讨了其协作的核心要素（如通信、任务分配与协调），还讲述了多智能体系统的演进过程。
 
-通过本章的学习，我们建立了一个关于智能体的基础认知框架：**从单个智能体的定义与分类，到其与环境的交互，再到多智能体系统的协作模式**。那么，它是如何一步步从最初的构想演进至今的呢？在下一章中，我们将探索智能体的发展历史，一段追本溯源的旅程即将开始！
+通过本章的学习，我们建立了一个关于智能体的基础认知框架：<strong>从单个智能体的定义与分类，到其与环境的交互，再到多智能体系统的协作模式</strong>。那么，它是如何一步步从最初的构想演进至今的呢？在下一章中，我们将探索智能体的发展历史，一段追本溯源的旅程即将开始！
 
 ## 参考文献
 

docs/chapter2/第二章 智能体发展史.md

@@ -10,12 +10,12 @@
 
 ### 2.1.1 物理符号系统假说
 
-符号主义时代的理论根据，是1976年由**艾伦·纽厄尔（Allen Newell）**和**赫伯特·西蒙（Herbert A. Simon）**共同提出的**物理符号系统假说（PhysicalSymbol SystemHypothesis, PSSH）**^[1]^。这两位图灵奖得主通过这一假说，为在计算机上实现通用人工智能提供了理论指导和判定标准。
+符号主义时代的理论根据，是1976年由<strong>艾伦·纽厄尔（Allen Newell）</strong>和<strong>赫伯特·西蒙（Herbert A. Simon）</strong>共同提出的<strong>物理符号系统假说（PhysicalSymbol SystemHypothesis, PSSH）</strong>^[1]^。这两位图灵奖得主通过这一假说，为在计算机上实现通用人工智能提供了理论指导和判定标准。
 
 该假说包含两个核心论断：
 
-1. **充分性论断**：任何一个物理符号系统，都具备产生通用智能行为的充分手段。
-2. **必要性论断**：任何一个能够展现通用智能行为的系统，其本质必然是一个物理符号系统。
+1. <strong>充分性论断</strong>：任何一个物理符号系统，都具备产生通用智能行为的充分手段。
+2. <strong>必要性论断</strong>：任何一个能够展现通用智能行为的系统，其本质必然是一个物理符号系统。
 
 这里的物理符号系统指的是一个能够在物理世界中存在的系统，它由一组可被区分的符号和一系列对这些符号进行操作的过程组成，其构成元素如图2.1所示。这些符号可以组合成更复杂的结构（例如表达式），而过程则可以创建、修改、复制和销毁这些符号结构。
 
@@ -24,13 +24,13 @@
   <p>图 2.1 物理符号系统的构成元素</p>
 </div>
 
-简而言之，PSSH大胆地宣称：**智能的本质，就是符号的计算与处理。**
+简而言之，PSSH大胆地宣称：<strong>智能的本质，就是符号的计算与处理。</strong>
 
 这个假说具有深远的影响。它将对人类心智这一模糊、复杂的哲学问题的研究，转化为了一个可以在计算机上进行工程化实现的具体问题。它为早期人工智能研究者注入了强大的信心，即只要我们能找到正确的方式来表示知识并设计出有效的推理算法，就一定能创造出与人类媲美的机器智能。整个符号主义时代的研究，从专家系统到自动规划，几乎都是在这一假说的指引下展开的。
 
 ### 2.1.2 专家系统
 
-在物理符号系统假说的直接影响下，**专家系统（Expert System）**成为符号主义时代最重要、最成功的应用成果。专家系统的核心目标，是模拟人类专家在特定领域内解决问题的能力。它通过将专家的知识和经验编码成计算机程序，使其能够在面对相似问题时，给出媲美甚至超越人类专家的结论或建议。
+在物理符号系统假说的直接影响下，<strong>专家系统（Expert System）</strong>成为符号主义时代最重要、最成功的应用成果。专家系统的核心目标，是模拟人类专家在特定领域内解决问题的能力。它通过将专家的知识和经验编码成计算机程序，使其能够在面对相似问题时，给出媲美甚至超越人类专家的结论或建议。
 
 一个典型的专家系统通常由知识库、推理机、用户界面等几个核心部分构成，其通用架构如图2.2所示。
 
@@ -42,32 +42,32 @@
 
 这种架构清晰地体现了知识与推理相分离的设计思想，是符号主义AI的重要特征。
 
-**知识库与推理机**
+<strong>知识库与推理机</strong>
 
 专家系统的“智能”主要源于其两大核心组件：知识库和推理机。
 
-- **知识库（Knowledge Base）**：这是专家系统的知识存储中心，用于存放领域专家的知识和经验。**知识表示（Knowledge Representation）**是构建知识库的关键。在专家系统中，最常用的一种知识表示方法是**产生式规则（Production Rules）**，即一系列“IF-THEN”形式的条件语句。例如：IF 病人有发烧症状 AND 咳嗽 THEN 可能患有呼吸道感染。这些规则将特定情境（IF部分，条件）与相应的结论或行动（THEN部分，结论）关联起来。一个复杂的专家系统可能包含成百上千条这样的规则，共同构成一个庞大的知识网络。
-- **推理机（Inference Engine）**：推理机是专家系统的核心计算引擎。它是一个通用的程序，其任务是根据用户提供的事实，在知识库中寻找并应用相关的规则，从而推导出新的结论。推理机的工作方式主要有两种：
-  - **正向链（Forward Chaining）**：从已知事实出发，不断匹配规则的IF部分，触发THEN部分的结论，并将新结论加入事实库，直到最终推导出目标或无新规则可匹配。这是一种“数据驱动”的推理方式。
-  - **反向链（Backward Chaining）**：从一个假设的目标（比如“病人是否患有肺炎”）出发，寻找能够推导出该目标的规则，然后将该规则的IF部分作为新的子目标，如此递归下去，直到所有子目标都能被已知事实所证明。这是一种“目标驱动”的推理方式。
+- <strong>知识库（Knowledge Base）</strong>：这是专家系统的知识存储中心，用于存放领域专家的知识和经验。<strong>知识表示（Knowledge Representation）</strong>是构建知识库的关键。在专家系统中，最常用的一种知识表示方法是<strong>产生式规则（Production Rules）</strong>，即一系列“IF-THEN”形式的条件语句。例如：IF 病人有发烧症状 AND 咳嗽 THEN 可能患有呼吸道感染。这些规则将特定情境（IF部分，条件）与相应的结论或行动（THEN部分，结论）关联起来。一个复杂的专家系统可能包含成百上千条这样的规则，共同构成一个庞大的知识网络。
+- <strong>推理机（Inference Engine）</strong>：推理机是专家系统的核心计算引擎。它是一个通用的程序，其任务是根据用户提供的事实，在知识库中寻找并应用相关的规则，从而推导出新的结论。推理机的工作方式主要有两种：
+  - <strong>正向链（Forward Chaining）</strong>：从已知事实出发，不断匹配规则的IF部分，触发THEN部分的结论，并将新结论加入事实库，直到最终推导出目标或无新规则可匹配。这是一种“数据驱动”的推理方式。
+  - <strong>反向链（Backward Chaining）</strong>：从一个假设的目标（比如“病人是否患有肺炎”）出发，寻找能够推导出该目标的规则，然后将该规则的IF部分作为新的子目标，如此递归下去，直到所有子目标都能被已知事实所证明。这是一种“目标驱动”的推理方式。
 
-**应用案例与分析：MYCIN系统**
+<strong>应用案例与分析：MYCIN系统</strong>
 
 MYCIN是历史上最著名、最具影响力的专家系统之一，由斯坦福大学于20世纪70年代开发^[2]^。它被设计用于辅助医生诊断细菌性血液感染并推荐合适的抗生素治疗方案。
 
-- **工作原理**：MYCIN通过与医生进行问答式交互来收集病人的症状、病史和化验结果。其知识库包含了约600条由医学专家提供的“IF-THEN”规则。推理机主要采用反向链的方式工作：从“确定致病菌”这一最高目标出发，反向推导需要哪些证据和条件，然后向医生提问以获取这些信息。其简化的工作流程如图2.3所示。
+- <strong>工作原理</strong>：MYCIN通过与医生进行问答式交互来收集病人的症状、病史和化验结果。其知识库包含了约600条由医学专家提供的“IF-THEN”规则。推理机主要采用反向链的方式工作：从“确定致病菌”这一最高目标出发，反向推导需要哪些证据和条件，然后向医生提问以获取这些信息。其简化的工作流程如图2.3所示。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/2-figures/1757246501849-2.png" alt="图片描述" width="90%"/>
   <p>图 2.3 MYCIN反向链推理流程示意图</p>
 </div>
 
-- **不确定性处理**：医学诊断充满了不确定性。MYCIN的一个重要创新是引入了**置信因子（Certainty Factor, CF）**的概念，用一个-1到1之间的数值来表示一个结论的可信度。这使得系统能够处理不确定的、模糊的医学知识，并给出带有可信度评估的诊断结果，这比简单的布尔逻辑更贴近现实世界。
-- **成就与意义**：在一项评估中，MYCIN在血液感染诊断方面的表现超过了非专业医生，甚至达到了人类专家的水平。它的成功雄辩地证明了物理符号系统假说的有效性：通过精心的知识工程和符号推理，机器确实可以在高度复杂的专业领域展现出卓越的“智能”。MYCIN不仅是专家系统发展史上的一个里程碑，也为后续人工智能在各个垂直领域的商业化应用铺平了道路。
+- <strong>不确定性处理</strong>：医学诊断充满了不确定性。MYCIN的一个重要创新是引入了<strong>置信因子（Certainty Factor, CF）</strong>的概念，用一个-1到1之间的数值来表示一个结论的可信度。这使得系统能够处理不确定的、模糊的医学知识，并给出带有可信度评估的诊断结果，这比简单的布尔逻辑更贴近现实世界。
+- <strong>成就与意义</strong>：在一项评估中，MYCIN在血液感染诊断方面的表现超过了非专业医生，甚至达到了人类专家的水平。它的成功雄辩地证明了物理符号系统假说的有效性：通过精心的知识工程和符号推理，机器确实可以在高度复杂的专业领域展现出卓越的“智能”。MYCIN不仅是专家系统发展史上的一个里程碑，也为后续人工智能在各个垂直领域的商业化应用铺平了道路。
 
 ### 2.1.3 SHRDLU
 
-如果说专家系统展示了符号AI在专业领域的“深度”，那么由**特里·威诺格拉德（Terry Winograd）**于1968-1970年开发的SHRDLU项目^[3]^，则在“广度”上实现了革命性的突破。SHRDLU旨在构建一个能在“积木世界”这一微观环境中，通过自然语言与人类流畅交互的综合性智能体。“积木世界”是一个模拟的三维虚拟空间，其中包含不同形状、颜色和大小的积木，以及一个可以抓取和移动它们的虚拟机械臂。用户通过自然语言向SHRDLU下达指令或提问，SHRDLU则在虚拟世界中执行动作或给出文字回答。
+如果说专家系统展示了符号AI在专业领域的“深度”，那么由<strong>特里·威诺格拉德（Terry Winograd）</strong>于1968-1970年开发的SHRDLU项目^[3]^，则在“广度”上实现了革命性的突破。SHRDLU旨在构建一个能在“积木世界”这一微观环境中，通过自然语言与人类流畅交互的综合性智能体。“积木世界”是一个模拟的三维虚拟空间，其中包含不同形状、颜色和大小的积木，以及一个可以抓取和移动它们的虚拟机械臂。用户通过自然语言向SHRDLU下达指令或提问，SHRDLU则在虚拟世界中执行动作或给出文字回答。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/2-figures/1757246501849-3.png" alt="图片描述" width="90%"/>
@@ -76,38 +76,38 @@ MYCIN是历史上最著名、最具影响力的专家系统之一，由斯坦福
 
 SHRDLU在当时引起广泛关注，主要原因在于它首次将多个独立的人工智能模块（如语言解析、规划、记忆）集成在一个统一的系统中，并使它们协同工作：
 
-- **自然语言理解**：SHRDLU能够解析结构复杂且含有歧义的英语句子。它不仅能理解直接的命令（如 `Pick up a big red block.`），还能处理更复杂的指令，例如：
+- <strong>自然语言理解</strong>：SHRDLU能够解析结构复杂且含有歧义的英语句子。它不仅能理解直接的命令（如 `Pick up a big red block.`），还能处理更复杂的指令，例如：
   - 指代消解：`Find a block which is taller than the one you are holding and put it into the box.` 在这条指令中，系统需要理解 `the one you are holding` 指代的是当前机械臂正抓取的物体。
   - 上下文记忆：用户可以说 `Grasp the pyramid.`，然后接着问 `What does the box contain?`，系统能够联系上下文进行回答。
-- **规划与行动**：在理解指令后，SHRDLU能够自主规划出一系列必要的动作来完成任务。例如，如果指令是“把蓝色积木放到红色积木上”，而红色积木上已经有另一个绿色积木，系统会规划出“先把绿色积木移开，再把蓝色积木放上去”的动作序列。
-- **记忆与问答**：SHRDLU拥有关于其所处环境和自身行为的记忆。用户可以就此提问，例如：
+- <strong>规划与行动</strong>：在理解指令后，SHRDLU能够自主规划出一系列必要的动作来完成任务。例如，如果指令是“把蓝色积木放到红色积木上”，而红色积木上已经有另一个绿色积木，系统会规划出“先把绿色积木移开，再把蓝色积木放上去”的动作序列。
+- <strong>记忆与问答</strong>：SHRDLU拥有关于其所处环境和自身行为的记忆。用户可以就此提问，例如：
   - 询问世界状态：`Is there a large block behind a pyramid?`
   - 询问行为历史：`Did you touch any pyramid before you put the green one on the little cube?`
   - 询问行为动机：`Why did you pick up the red block?` SHRDLU可以回答：`BECAUSE YOU ASKED ME TO.`
 
 SHRDLU的历史地位与影响主要体现在三个方面：
 
-- **综合性智能的典范**：在SHRDLU之前，AI研究大多聚焦于单一功能。它首次将语言理解、推理规划与行动记忆等多个AI模块集成于统一系统，其“感知-思考-行动”的闭环设计，奠定了现代智能体研究的基础。
-- **微观世界研究方法的普及**：它的成功证明了在一个规则明确的简化环境中，探索和验证复杂智能体基本原理的可行性，这一方法深刻影响了后续的机器人学与AI规划研究。
-- **引发的乐观与反思**：SHRDLU的成功激发了对AGI的早期乐观预期，但其能力又严格局限于积木世界。这种局限性引发了AI领域关于“符号处理”与“真正理解”之间差异的长期思辨，揭示了通往通用智能的深层挑战。
+- <strong>综合性智能的典范</strong>：在SHRDLU之前，AI研究大多聚焦于单一功能。它首次将语言理解、推理规划与行动记忆等多个AI模块集成于统一系统，其“感知-思考-行动”的闭环设计，奠定了现代智能体研究的基础。
+- <strong>微观世界研究方法的普及</strong>：它的成功证明了在一个规则明确的简化环境中，探索和验证复杂智能体基本原理的可行性，这一方法深刻影响了后续的机器人学与AI规划研究。
+- <strong>引发的乐观与反思</strong>：SHRDLU的成功激发了对AGI的早期乐观预期，但其能力又严格局限于积木世界。这种局限性引发了AI领域关于“符号处理”与“真正理解”之间差异的长期思辨，揭示了通往通用智能的深层挑战。
 
 ### 2.1.4 符号主义面临的根本性挑战
 
 尽管早期项目成就显著，但从20世纪80年代起，符号主义AI在从“微观世界”走向开放、复杂的现实世界时，遇到了其方法论固有的根本性难题。这些难题主要可归结为两大类：
 
-**（1）常识知识与知识获取瓶颈**
+<strong>（1）常识知识与知识获取瓶颈</strong>
 
 符号主义智能体的“智能”完全依赖于其知识库的质量和完备性。然而，如何构建一个能够支撑真实世界交互的知识库，被证明是一项极其艰巨的任务，主要体现在两个方面：
 
-- **知识获取瓶颈（Knowledge Acquisition Bottleneck）**：专家系统的知识需要由人类专家和知识工程师通过繁琐的访谈、提炼和编码过程来构建。这个过程成本高昂、耗时漫长，且难以规模化。更重要的是，人类专家的许多知识是内隐的、直觉性的，很难被清晰地表达为“IF-THEN”规则。试图将整个世界的知识都进行手工符号化，被认为是一项几乎不可能完成的任务。
-- **常识问题（Common-sense Problem）**：人类行为依赖于庞大的常识背景（例如，“水是湿的”、“绳子可以拉不能推”），但符号系统除非被明确编码，否则对此一无所知。为广阔、模糊的常识建立完备的知识库至今仍是重大挑战，Cyc项目^[4]^历经数十年努力，其成果和应用仍然非常有限。
+- <strong>知识获取瓶颈（Knowledge Acquisition Bottleneck）</strong>：专家系统的知识需要由人类专家和知识工程师通过繁琐的访谈、提炼和编码过程来构建。这个过程成本高昂、耗时漫长，且难以规模化。更重要的是，人类专家的许多知识是内隐的、直觉性的，很难被清晰地表达为“IF-THEN”规则。试图将整个世界的知识都进行手工符号化，被认为是一项几乎不可能完成的任务。
+- <strong>常识问题（Common-sense Problem）</strong>：人类行为依赖于庞大的常识背景（例如，“水是湿的”、“绳子可以拉不能推”），但符号系统除非被明确编码，否则对此一无所知。为广阔、模糊的常识建立完备的知识库至今仍是重大挑战，Cyc项目^[4]^历经数十年努力，其成果和应用仍然非常有限。
 
-**（2）框架问题与系统脆弱性**
+<strong>（2）框架问题与系统脆弱性</strong>
 
 除了知识层面的挑战，符号主义在处理动态变化的世界时也遇到了逻辑上的困境。
 
-- **框架问题（Frame Problem）**：在一个动态世界中，智能体执行一个动作后，如何高效判断哪些事物未发生改变是一个逻辑难题^[5]^。为每个动作显式地声明所有不变的状态，在计算上是不可行的，而人类却能毫不费力地忽略不相关的变化。
-- **系统脆弱性（Brittleness）**：符号系统完全依赖预设规则，导致其行为非常“脆弱”。一旦遇到规则之外的任何微小变化或新情况，系统便可能完全失灵，无法像人类一样灵活变通。SHRDLU的成功，也正是因为它运行在一个规则完备的封闭世界里，而真实世界充满了例外。
+- <strong>框架问题（Frame Problem）</strong>：在一个动态世界中，智能体执行一个动作后，如何高效判断哪些事物未发生改变是一个逻辑难题^[5]^。为每个动作显式地声明所有不变的状态，在计算上是不可行的，而人类却能毫不费力地忽略不相关的变化。
+- <strong>系统脆弱性（Brittleness）</strong>：符号系统完全依赖预设规则，导致其行为非常“脆弱”。一旦遇到规则之外的任何微小变化或新情况，系统便可能完全失灵，无法像人类一样灵活变通。SHRDLU的成功，也正是因为它运行在一个规则完备的封闭世界里，而真实世界充满了例外。
 
 ## 2.2 构建基于规则的聊天机器人
 
@@ -115,7 +115,7 @@ SHRDLU的历史地位与影响主要体现在三个方面：
 
 ### 2.2.1 ELIZA 的设计思想
 
-ELIZA是由麻省理工学院的计算机科学家**约瑟夫·魏泽鲍姆（Joseph Weizenbaum）**于1966年发布的一个计算机程序^[6]^，是早期自然语言处理领域的著名尝试之一。ELIZA并非一个单一的程序，而是一个可以执行不同“脚本”的框架。其中，最广为人知也最成功的脚本是“DOCTOR”，它模仿了一位罗杰斯学派的非指导性心理治疗师。
+ELIZA是由麻省理工学院的计算机科学家<strong>约瑟夫·魏泽鲍姆（Joseph Weizenbaum）</strong>于1966年发布的一个计算机程序^[6]^，是早期自然语言处理领域的著名尝试之一。ELIZA并非一个单一的程序，而是一个可以执行不同“脚本”的框架。其中，最广为人知也最成功的脚本是“DOCTOR”，它模仿了一位罗杰斯学派的非指导性心理治疗师。
 
 ELIZA的工作方式极其巧妙：它从不正面回答问题或提供信息，而是通过识别用户输入中的关键词，然后应用一套预设的转换规则，将用户的陈述转化为一个开放式的提问。例如，当用户说“我为我的男朋友感到难过”时，ELIZA可能会识别出关键词“我为……感到难过”，并应用规则生成回应：“你为什么会为你的男朋友感到难过？”
 
@@ -125,17 +125,17 @@ ELIZA的工作方式极其巧妙：它从不正面回答问题或提供信息，
 
 ### 2.2.2 模式匹配与文本替换
 
-ELIZA的算法流程基于**模式匹配（Pattern Matching）与文本替换（Text Substitution）**，可被清晰地分解为以下四个步骤：
+ELIZA的算法流程基于<strong>模式匹配（Pattern Matching）与文本替换（Text Substitution）</strong>，可被清晰地分解为以下四个步骤：
 
-1. **关键词识别与排序：**规则库为每个关键词（如 `mother`, `dreamed`, `depressed`）设定一个优先级。当输入包含多个关键词时，程序会选择优先级最高的关键词所对应的规则进行处理。
-2. **分解规则：**找到关键词后，程序使用带通配符（`*`）的分解规则来捕获句子的其余部分。
-   1. **规则示例**: `* my *`
-   2. **用户输入**: `"My mother is afraid of me"`
-   3. **捕获结果**: `["", "mother is afraid of me"]`
-3. **重组规则：**程序从与分解规则关联的一组重组规则中，选择一条来生成回应（通常随机选择以增加多样性），并可选择性地使用上一步捕获的内容。
-   1. **规则示例**: `"Tell me more about your family."`
-   2. **生成输出**: `"Tell me more about your family."`
-4. **代词转换：**在重组前，程序会进行简单的代词转换（如 `I` → `you`, `my` → `your`），以维持对话的连贯性。
+1. <strong>关键词识别与排序：</strong>规则库为每个关键词（如 `mother`, `dreamed`, `depressed`）设定一个优先级。当输入包含多个关键词时，程序会选择优先级最高的关键词所对应的规则进行处理。
+2. <strong>分解规则：</strong>找到关键词后，程序使用带通配符（`*`）的分解规则来捕获句子的其余部分。
+   1. <strong>规则示例</strong>: `* my *`
+   2. <strong>用户输入</strong>: `"My mother is afraid of me"`
+   3. <strong>捕获结果</strong>: `["", "mother is afraid of me"]`
+3. <strong>重组规则：</strong>程序从与分解规则关联的一组重组规则中，选择一条来生成回应（通常随机选择以增加多样性），并可选择性地使用上一步捕获的内容。
+   1. <strong>规则示例</strong>: `"Tell me more about your family."`
+   2. <strong>生成输出</strong>: `"Tell me more about your family."`
+4. <strong>代词转换：</strong>在重组前，程序会进行简单的代词转换（如 `I` → `you`, `my` → `your`），以维持对话的连贯性。
 
 整个工作流程可以用一个简单的伪代码思路来表示：
 
@@ -270,17 +270,17 @@ Therapist: Goodbye. It was nice talking to you.
 
 通过上述的编程实践，我们可以直观地总结出规则驱动系统的根本局限性，这些局限正是对 `2.1.4` 节中符号主义理论挑战的直接印证：
 
-- **缺乏语义理解**：系统不理解词义。例如，面对“I am **not** happy”的输入，它仍会机械地匹配 `I am (.*)` 规则并生成语义不通的回应，因为它无法理解否定词“not”的作用。
-- **无上下文记忆**：系统是**无状态的（Stateless）**，每次回应仅基于当前单句输入，无法进行连-贯的多轮对话。
-- **规则的扩展性问题**：尝试增加更多规则会导致规则库的规模爆炸式增长，规则间的冲突与优先级管理将变得极其复杂，最终导致系统难以维护。
+- <strong>缺乏语义理解</strong>：系统不理解词义。例如，面对“I am <strong>not</strong> happy”的输入，它仍会机械地匹配 `I am (.*)` 规则并生成语义不通的回应，因为它无法理解否定词“not”的作用。
+- <strong>无上下文记忆</strong>：系统是<strong>无状态的（Stateless）</strong>，每次回应仅基于当前单句输入，无法进行连-贯的多轮对话。
+- <strong>规则的扩展性问题</strong>：尝试增加更多规则会导致规则库的规模爆炸式增长，规则间的冲突与优先级管理将变得极其复杂，最终导致系统难以维护。
 
-然而，尽管存在这些显而易见的缺陷，ELIZA在当时却产生了著名的“**ELIZA效应**”，许多用户相信它能理解自己。这种智能的幻觉主要源于其巧妙的对话策略（如扮演被动的提问者、使用开放式模板）以及人类天生的情感投射心理。
+然而，尽管存在这些显而易见的缺陷，ELIZA在当时却产生了著名的“<strong>ELIZA效应</strong>”，许多用户相信它能理解自己。这种智能的幻觉主要源于其巧妙的对话策略（如扮演被动的提问者、使用开放式模板）以及人类天生的情感投射心理。
 
 ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似智能的表现，完全依赖于设计者预先编码的规则。然而，面对真实世界语言的无限可能性，这种穷举式的方法注定不可扩展。系统没有真正的理解，只是在执行符号操作，这正是其脆弱性的根源。
 
 ## 2.3 马文·明斯基的心智社会
 
-符号主义的探索和ELIZA的实践，共同指向了一个问题：通过预设规则构建的、单一的、集中的推理引擎，似乎难以通向真正的智能。无论规则库多么庞大，系统在面对真实世界的模糊性、复杂性和无穷变化时，总是显得僵化而脆弱。这一困境促使一些顶尖的思考者开始反思人工智能最底层的设计哲学。其中，**马文·明斯基（Marvin Minsky）**没有继续尝试为单一推理核心添加更多规则，而是在他的**《心智社会》（The Society of Mind）**^[7]^ 一书中提出了一个革命性的问题："What magical trick makes us intelligent? The trick is that there is no trick. The power of intelligence stems from our vast diversity, not from any single, perfect principle."
+符号主义的探索和ELIZA的实践，共同指向了一个问题：通过预设规则构建的、单一的、集中的推理引擎，似乎难以通向真正的智能。无论规则库多么庞大，系统在面对真实世界的模糊性、复杂性和无穷变化时，总是显得僵化而脆弱。这一困境促使一些顶尖的思考者开始反思人工智能最底层的设计哲学。其中，<strong>马文·明斯基（Marvin Minsky）</strong>没有继续尝试为单一推理核心添加更多规则，而是在他的<strong>《心智社会》（The Society of Mind）</strong>^[7]^ 一书中提出了一个革命性的问题："What magical trick makes us intelligent? The trick is that there is no trick. The power of intelligence stems from our vast diversity, not from any single, perfect principle."
 
 ### 2.3.1 对单一整体智能模型的反思
 
@@ -288,9 +288,9 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 面对这种普遍的失败，明斯基开始提出一系列根本性的问题：
 
-- **“理解”是什么？** 当我们说我们理解一个故事时，这是一种单一的能力吗？还是说，它其实是视觉化能力、逻辑推理能力、情感共鸣能力、社会关系常识等数十种不同心智过程协同工作的结果？
-- **“常识”是什么？** 常识是一个包含了数百万条逻辑规则的庞大知识库吗（如Cyc项目的尝试）？还是说，它是一种分布式的、由无数具体经验和简单规则片段交织而成的网络？
-- **智能体应该如何构建？** 我们是否应该继续追求一个完美的、统一的逻辑系统，还是应该承认，智能本身就是“不完美”的、由许多功能各异、甚至会彼此冲突的简单部分组成的大杂烩？
+- <strong>“理解”是什么？</strong> 当我们说我们理解一个故事时，这是一种单一的能力吗？还是说，它其实是视觉化能力、逻辑推理能力、情感共鸣能力、社会关系常识等数十种不同心智过程协同工作的结果？
+- <strong>“常识”是什么？</strong> 常识是一个包含了数百万条逻辑规则的庞大知识库吗（如Cyc项目的尝试）？还是说，它是一种分布式的、由无数具体经验和简单规则片段交织而成的网络？
+- <strong>智能体应该如何构建？</strong> 我们是否应该继续追求一个完美的、统一的逻辑系统，还是应该承认，智能本身就是“不完美”的、由许多功能各异、甚至会彼此冲突的简单部分组成的大杂烩？
 
 这些问题直指单一整体智能模型的核心弊端。该类模型试图用一种统一的表示和推理机制来解决所有问题，但这与我们观察到的自然智能（尤其是人类智能）的运作方式相去甚远。明斯基认为，强行将多样化的心智活动塞进一个僵化的逻辑框架中，正是导致早期人工智能研究停滞不前的根源。
 
@@ -300,9 +300,9 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 在明斯基的理论框架中，智能体的定义与我们第一章讨论的现代智能体有所不同。这里的智能体指的是一个极其简单的、专门化的心智过程，它自身是“无心”的。例如，一个负责识别线条的`LINE-FINDER`智能体，或一个负责抓握的`GRASP`智能体。
 
-这些简单的智能体被组织起来，形成功能更强大的**机构（Agency）**。一个机构是一组协同工作的智能体，旨在完成一个更复杂的任务。例如，一个负责搭积木的`BUILD`机构，可能由`SEE`、`FIND`、`GET`、`PUT`等多个下层智能体或机构组成。它们之间通过去中心化的激活与抑制信号相互影响，形成动态的控制流。
+这些简单的智能体被组织起来，形成功能更强大的<strong>机构（Agency）</strong>。一个机构是一组协同工作的智能体，旨在完成一个更复杂的任务。例如，一个负责搭积木的`BUILD`机构，可能由`SEE`、`FIND`、`GET`、`PUT`等多个下层智能体或机构组成。它们之间通过去中心化的激活与抑制信号相互影响，形成动态的控制流。
 
-**涌现（Emergence）**是理解心智社会理论的关键。复杂的、有目的性的智能行为，并非由某个高级智能体预先规划，而是从大量简单的底层智能体之间的局部交互中自发产生的。
+<strong>涌现（Emergence）</strong>是理解心智社会理论的关键。复杂的、有目的性的智能行为，并非由某个高级智能体预先规划，而是从大量简单的底层智能体之间的局部交互中自发产生的。
 
 让我们以经典的“搭建积木塔”任务为例，来说明这一过程，如图2.5所示。当一个高层目标（如“我要搭一个塔”）出现时，它会激活一个名为`BUILD-TOWER`的高层机构。
 
@@ -320,15 +320,15 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 ### 2.3.3 对多智能体系统的理论启发
 
-心智社会理论最深远的影响，在于它为**分布式人工智能（Distributed Artificial Intelligence, DAI）**以及后来的**多智能体系统（Multi-Agent System, MAS）**提供了重要的概念基础。它引出研究者们的思考：
+心智社会理论最深远的影响，在于它为<strong>分布式人工智能（Distributed Artificial Intelligence, DAI）</strong>以及后来的<strong>多智能体系统（Multi-Agent System, MAS）</strong>提供了重要的概念基础。它引出研究者们的思考：
 
-**如果一个心智内部的智能，是通过大量简单智能体的协作而涌现的，那么，在多个独立的、物理上分离的计算实体（计算机、机器人）之间，是否也能通过协作涌现出更强大的“群体智能”？**
+<strong>如果一个心智内部的智能，是通过大量简单智能体的协作而涌现的，那么，在多个独立的、物理上分离的计算实体（计算机、机器人）之间，是否也能通过协作涌现出更强大的“群体智能”？</strong>
 
 这个问题的提出，直接将研究焦点从“如何构建一个全能的单一智能体”转向了“如何设计一个高效协作的智能体群体”。具体而言，心智社会在以下几个方面直接启发了多智能体系统的研究：
 
-- **去中心化控制（Decentralized Control）**：理论的核心在于不存在中央控制器。这一思想被MAS领域完全继承，如何设计没有中心节点的协调机制和任务分配策略，成为了MAS的核心研究课题之一。
-- **涌现式计算（Emergent Computation）**：复杂问题的解决方案可以从简单的局部交互规则中自发产生。这启发了MAS中大量基于涌现思想的算法，如蚁群算法、粒子群优化等，用于解决复杂的优化和搜索问题。
-- **智能体的社会性（Agent Sociality）**：明斯基的理论强调了智能体之间的交互（激活、抑制）。MAS领域将其进一步扩展，系统地研究智能体之间的通信语言（如ACL）、交互协议（如契约网）、协商策略、信任模型乃至组织结构，从而构建起真正的计算社会。
+- <strong>去中心化控制（Decentralized Control）</strong>：理论的核心在于不存在中央控制器。这一思想被MAS领域完全继承，如何设计没有中心节点的协调机制和任务分配策略，成为了MAS的核心研究课题之一。
+- <strong>涌现式计算（Emergent Computation）</strong>：复杂问题的解决方案可以从简单的局部交互规则中自发产生。这启发了MAS中大量基于涌现思想的算法，如蚁群算法、粒子群优化等，用于解决复杂的优化和搜索问题。
+- <strong>智能体的社会性（Agent Sociality）</strong>：明斯基的理论强调了智能体之间的交互（激活、抑制）。MAS领域将其进一步扩展，系统地研究智能体之间的通信语言（如ACL）、交互协议（如契约网）、协商策略、信任模型乃至组织结构，从而构建起真正的计算社会。
 
 可以说，明斯基的“心智社会”理论，为AI研究者理解“群体智能”的内在构造提供了重要的分析框架。它为后来的研究者们提供了一套全新的视角，去探索由独立的、自治的、具备社会能力的计算智能体所构成的复杂系统，从而正式开启了多智能体系统研究的序幕。
 
@@ -342,11 +342,11 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 ### 2.4.1 从符号到联结
 
-作为对符号主义局限性的直接回应，**联结主义（Connectionism）**在20世纪80年代重新兴起。与符号主义自上而下、依赖明确逻辑规则的设计哲学不同，联结主义是一种自下而上的方法，其灵感来源于对生物大脑神经网络结构的模仿^[8]^。它的核心思想可以概括为以下几点：
+作为对符号主义局限性的直接回应，<strong>联结主义（Connectionism）</strong>在20世纪80年代重新兴起。与符号主义自上而下、依赖明确逻辑规则的设计哲学不同，联结主义是一种自下而上的方法，其灵感来源于对生物大脑神经网络结构的模仿^[8]^。它的核心思想可以概括为以下几点：
 
-1. **知识的分布式表示**：知识并非以明确的符号或规则形式存储在某个知识库中，而是以连接权重的形式，分布式地存储在大量简单的处理单元（即人工神经元）的连接之间。整个网络的连接模式本身就构成了知识。
-2. **简单的处理单元**：每个神经元只执行非常简单的计算，如接收来自其他神经元的加权输入，通过一个激活函数进行处理，然后将结果输出给下一个神经元。
-3. **通过学习调整权重**：系统的智能并非来自于设计者预先编写的复杂程序，而是来自于“学习”过程。系统通过接触大量样本，根据某种学习算法（如反向传播算法）自动、迭代地调整神经元之间的连接权重，从而使得整个网络的输出逐渐接近期望的目标。
+1. <strong>知识的分布式表示</strong>：知识并非以明确的符号或规则形式存储在某个知识库中，而是以连接权重的形式，分布式地存储在大量简单的处理单元（即人工神经元）的连接之间。整个网络的连接模式本身就构成了知识。
+2. <strong>简单的处理单元</strong>：每个神经元只执行非常简单的计算，如接收来自其他神经元的加权输入，通过一个激活函数进行处理，然后将结果输出给下一个神经元。
+3. <strong>通过学习调整权重</strong>：系统的智能并非来自于设计者预先编写的复杂程序，而是来自于“学习”过程。系统通过接触大量样本，根据某种学习算法（如反向传播算法）自动、迭代地调整神经元之间的连接权重，从而使得整个网络的输出逐渐接近期望的目标。
 
 在这种范式下，智能体不再是一个被动执行规则的逻辑推理机，而是一个能够通过经验自我优化的适应性系统。如图2.6所示，这代表了构建智能体核心思想的根本性转变。符号主义试图将人类的知识显式地编码给机器，而联结主义则试图创造出能够像人类一样学习知识的机器。
 
@@ -359,7 +359,7 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 ### 2.4.2 基于强化学习的智能体
 
-联结主义主要解决了感知问题（例如，“这张图片里有什么？”），但智能体更核心的任务是进行决策（例如，“在这种情况下，我应该做什么？”）。**强化学习（Reinforcement Learning, RL）**正是专注于解决序贯决策问题的学习范式。它并非直接从标注好的静态数据集中学习，而是通过智能体与环境的直接交互，在“试错”中学习如何最大化其长期收益。
+联结主义主要解决了感知问题（例如，“这张图片里有什么？”），但智能体更核心的任务是进行决策（例如，“在这种情况下，我应该做什么？”）。<strong>强化学习（Reinforcement Learning, RL）</strong>正是专注于解决序贯决策问题的学习范式。它并非直接从标注好的静态数据集中学习，而是通过智能体与环境的直接交互，在“试错”中学习如何最大化其长期收益。
 
 以AlphaGo为例，其核心的自我对弈学习过程便是强化学习的经典体现^[9]^。在这个过程中，AlphaGo（智能体）通过观察棋盘的当前布局（环境状态），决定下一步棋的落子位置（行动）。一局棋结束后，根据胜负结果，它会收到一个明确的信号：赢了就是正向奖励，输了则是负向奖励。通过数百万次这样的自我对弈，AlphaGo不断调整其内部策略，逐渐学会了在何种棋局下选择何种行动，最有可能导向最终的胜利。这个过程完全是自主的，不依赖于人类棋谱的直接指导。
 
@@ -367,11 +367,11 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 强化学习的框架可以用几个核心要素来描述：
 
-- **智能体（Agent）**：学习者和决策者。在AlphaGo的例子中，就是其决策程序。
-- **环境（Environment）**：智能体外部的一切，是智能体与之交互的对象。对AlphaGo而言，就是围棋的规则和对手。
-- **状态（State, S）**：对环境在某一时刻的特定描述，是智能体做出决策的依据。例如，棋盘上所有棋子的当前位置。
-- **行动（Action, A）**：智能体根据当前状态所能采取的操作。例如，在棋盘的某个合法位置上落下一子。
-- **奖励（Reward, R）**：环境在智能体执行一个行动后，反馈给智能体的一个标量信号，用于评价该行动在特定状态下的好坏。例如，在一局棋结束后，胜利获得+1的奖励，失败获得-1的奖励。
+- <strong>智能体（Agent）</strong>：学习者和决策者。在AlphaGo的例子中，就是其决策程序。
+- <strong>环境（Environment）</strong>：智能体外部的一切，是智能体与之交互的对象。对AlphaGo而言，就是围棋的规则和对手。
+- <strong>状态（State, S）</strong>：对环境在某一时刻的特定描述，是智能体做出决策的依据。例如，棋盘上所有棋子的当前位置。
+- <strong>行动（Action, A）</strong>：智能体根据当前状态所能采取的操作。例如，在棋盘的某个合法位置上落下一子。
+- <strong>奖励（Reward, R）</strong>：环境在智能体执行一个行动后，反馈给智能体的一个标量信号，用于评价该行动在特定状态下的好坏。例如，在一局棋结束后，胜利获得+1的奖励，失败获得-1的奖励。
 
 基于上述核心要素，强化学习智能体在一个“感知-行动-学习”的闭环中持续迭代，其工作模式如图2.7所示。
 
@@ -383,35 +383,35 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 这个循环的具体步骤如下：
 
 1. 在时间步t，智能体观察到环境的当前状态$S_{t}$。
-2. 基于状态 $S_{t}$，智能体根据其内部的**策略（Policy, π）**选择一个行动 $A_{t}$ 并执行它。策略本质上是一个从状态到行动的映射，定义了智能体的行为方式。
+2. 基于状态 $S_{t}$，智能体根据其内部的<strong>策略（Policy, π）</strong>选择一个行动 $A_{t}$ 并执行它。策略本质上是一个从状态到行动的映射，定义了智能体的行为方式。
 3. 环境接收到行动 $A_{t}$ 后，会转移到一个新的状态 $S_{t+1}$。
 4. 同时，环境会反馈给智能体一个即时奖励 $R_{t+1}$。
 5. 智能体利用这个反馈（新状态 $S_{t+1}$ 和奖励 $R_{t+1}$）来更新和优化其内部策略，以便在未来做出更好的决策。这个更新过程就是学习。
 
-智能体的学习目标，并非最大化某一个时间步的即时奖励，而是最大化从当前时刻开始到未来的**累积奖励（Cumulative Reward）**，也称为**回报（Return）**。这意味着智能体需要具备“远见”，有时为了获得未来更大的奖励，需要牺牲当前的即时奖励（例如，围棋中的“弃子”策略）。通过在上述循环中不断探索、收集反馈并优化策略，智能体最终能够学会在复杂动态环境中进行自主决策和长期规划。
+智能体的学习目标，并非最大化某一个时间步的即时奖励，而是最大化从当前时刻开始到未来的<strong>累积奖励（Cumulative Reward）</strong>，也称为<strong>回报（Return）</strong>。这意味着智能体需要具备“远见”，有时为了获得未来更大的奖励，需要牺牲当前的即时奖励（例如，围棋中的“弃子”策略）。通过在上述循环中不断探索、收集反馈并优化策略，智能体最终能够学会在复杂动态环境中进行自主决策和长期规划。
 
 ### 2.4.3 基于大规模数据的预训练
 
-强化学习赋予了智能体从交互中学习决策策略的能力，但这通常需要海量的、针对特定任务的交互数据，导致智能体在学习之初缺乏先验知识，需要从零开始构建对任务的理解。无论是符号主义试图手动编码的常识，还是人类在决策时所依赖的背景知识，在RL智能体中都是缺失的。如何让智能体在开始学习具体任务前，就先具备对世界的广泛理解？这一问题的解决方案，最终在**自然语言处理（Natural Language Processing, NLP）**领域中浮现，其核心便是基于大规模数据的**预训练（Pre-training）**。
+强化学习赋予了智能体从交互中学习决策策略的能力，但这通常需要海量的、针对特定任务的交互数据，导致智能体在学习之初缺乏先验知识，需要从零开始构建对任务的理解。无论是符号主义试图手动编码的常识，还是人类在决策时所依赖的背景知识，在RL智能体中都是缺失的。如何让智能体在开始学习具体任务前，就先具备对世界的广泛理解？这一问题的解决方案，最终在<strong>自然语言处理（Natural Language Processing, NLP）</strong>领域中浮现，其核心便是基于大规模数据的<strong>预训练（Pre-training）</strong>。
 
-**从特定任务到通用模型**
+<strong>从特定任务到通用模型</strong>
 
 在预训练范式出现之前，传统的自然语言处理模型通常是为单一特定任务（如情感分析、机器翻译）在专门标注的中小规模数据集上从零开始独立训练的。这种模式导致了几个问题：模型的知识面狭窄，难以将在一个任务中学到的知识泛化到另一个任务，并且每一个新任务都需要耗费大量的人力去标注数据。预训练与微调（Pre-training, Fine-tuning）范式的提出彻底改变了这一现状。其核心思想分为两步，如图2.8所示：
 
-1. **预训练阶段**：首先在一个包含互联网级别海量文本数据的通用语料库上，通过**自监督学习（Self-supervised Learning）**的方式训练一个超大规模的神经网络模型。这个阶段的目标不是完成任何特定任务，而是学习语言本身内在的规律、语法结构、事实知识以及上下文逻辑。最常见的目标是“预测下一个词”。
-2. **微调阶段**：完成预训练后，这个模型就已经学习到了和数据集有关的丰富知识。之后，针对特定的下游任务，只需使用少量该任务的标注数据对模型进行微调，即可让模型适应对应任务。
+1. <strong>预训练阶段</strong>：首先在一个包含互联网级别海量文本数据的通用语料库上，通过<strong>自监督学习（Self-supervised Learning）</strong>的方式训练一个超大规模的神经网络模型。这个阶段的目标不是完成任何特定任务，而是学习语言本身内在的规律、语法结构、事实知识以及上下文逻辑。最常见的目标是“预测下一个词”。
+2. <strong>微调阶段</strong>：完成预训练后，这个模型就已经学习到了和数据集有关的丰富知识。之后，针对特定的下游任务，只需使用少量该任务的标注数据对模型进行微调，即可让模型适应对应任务。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/2-figures/1757246501849-7.png" alt="图片描述" width="90%"/>
   <p>图 2.8 “预训练-微调”范式示意图</p>
 </div>
 
-**大型语言模型的诞生与涌现能力**
+<strong>大型语言模型的诞生与涌现能力</strong>
 
-通过在数万亿级别的文本上进行预训练，大型语言模型的神经网络权重实际上已经构建了一个关于世界知识的、高度压缩的隐式模型。它以一种全新的方式，解决了符号主义时代最棘手的“知识获取瓶颈”问题。更令人惊讶的是，当模型的规模（参数量、数据量、计算量）跨越某个阈值后，它们开始展现出未被直接训练的、预料之外的**涌现能力（Emergent Abilities）**，例如：
+通过在数万亿级别的文本上进行预训练，大型语言模型的神经网络权重实际上已经构建了一个关于世界知识的、高度压缩的隐式模型。它以一种全新的方式，解决了符号主义时代最棘手的“知识获取瓶颈”问题。更令人惊讶的是，当模型的规模（参数量、数据量、计算量）跨越某个阈值后，它们开始展现出未被直接训练的、预料之外的<strong>涌现能力（Emergent Abilities）</strong>，例如：
 
-- **上下文学习（In-context Learning）**：无需调整模型权重，仅在输入中提供**几个示例（Few-shot）**甚至**零个示例（Zero-shot）**，模型就能理解并完成新的任务。
-- **思维链（Chain-of-Thought）推理**：通过引导模型在回答复杂问题前，先输出一步步的推理过程，可以显著提升其在逻辑、算术和常识推理任务上的准确性。
+- <strong>上下文学习（In-context Learning）</strong>：无需调整模型权重，仅在输入中提供<strong>几个示例（Few-shot）</strong>甚至<strong>零个示例（Zero-shot）</strong>，模型就能理解并完成新的任务。
+- <strong>思维链（Chain-of-Thought）推理</strong>：通过引导模型在回答复杂问题前，先输出一步步的推理过程，可以显著提升其在逻辑、算术和常识推理任务上的准确性。
 
 这些能力的出现，标志着LLM不再仅仅是一个语言模型，它已经演变成了一个兼具海量知识库和通用推理引擎双重角色的组件。
 
@@ -428,11 +428,11 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 如第一章所述，智能体与环境的交互可以被抽象为一个核心循环。LLM驱动的智能体通过一个由多个模块协同工作的、持续迭代的闭环流程来完成任务。该流程遵循图2.9所示的架构，具体步骤如下：
 
-1. **感知 (Perception)** ：流程始于感知模块。该模块从**外部环境 (Environment)** 中接收输入，即**观察 (Observation)** 。这些观察信息（如用户指令或环境状态变化）被处理后，传递给规划模块。
-2. **规划 (Planning)** ：规划模块接收到观察信息后，对其进行分析和高级策略制定。此阶段包含**反思 (Reflection)** 和**自我批判 (Self-criticism)** 等关键机制，旨在将高层级目标分解为更具体的、结构化的行动计划。该计划随后被发送至系统的认知核心——大型语言模型。
-3. **核心处理 (LLM Processing)** ：作为中枢的**大型语言模型 (LLM)** 接收来自规划模块的指令。它会与**记忆模块 (Memory)** 进行交互，整合历史信息和上下文，进行深度推理，并最终决策出下一步的具体操作。这个操作通常表现为一个**工具调用 (Tool Call)** 。
-4. **行动 (Action)** ：LLM生成的工具调用指令被发送到**执行模块 (Execution Module)** 。该模块解析指令，选择并使用**工具箱 (Tool Use)** 中相应的工具（如代码执行器、搜索引擎等）来执行任务。执行后，工具返回一个**工具结果 (Tool Result)** 给LLM，同时对环境产生一个实际的**行动 (Action)** 。
-5. **反馈与更新 (Feedback & Update)** ：LLM接收到返回的**工具结果**，评估该步骤的执行效果。基于此结果，LLM会对记忆模块进行**更新 (Memory Update)** ，例如记录本次行动的成功、失败或关键产出。同时，环境因智能体的行动而发生改变，产生新的**观察 (Observation)** ，该信息被感知模块捕获，从而启动下一轮循环。
+1. <strong>感知 (Perception)</strong> ：流程始于感知模块。该模块从<strong>外部环境 (Environment)</strong> 中接收输入，即<strong>观察 (Observation)</strong> 。这些观察信息（如用户指令或环境状态变化）被处理后，传递给规划模块。
+2. <strong>规划 (Planning)</strong> ：规划模块接收到观察信息后，对其进行分析和高级策略制定。此阶段包含<strong>反思 (Reflection)</strong> 和<strong>自我批判 (Self-criticism)</strong> 等关键机制，旨在将高层级目标分解为更具体的、结构化的行动计划。该计划随后被发送至系统的认知核心——大型语言模型。
+3. <strong>核心处理 (LLM Processing)</strong> ：作为中枢的<strong>大型语言模型 (LLM)</strong> 接收来自规划模块的指令。它会与<strong>记忆模块 (Memory)</strong> 进行交互，整合历史信息和上下文，进行深度推理，并最终决策出下一步的具体操作。这个操作通常表现为一个<strong>工具调用 (Tool Call)</strong> 。
+4. <strong>行动 (Action)</strong> ：LLM生成的工具调用指令被发送到<strong>执行模块 (Execution Module)</strong> 。该模块解析指令，选择并使用<strong>工具箱 (Tool Use)</strong> 中相应的工具（如代码执行器、搜索引擎等）来执行任务。执行后，工具返回一个<strong>工具结果 (Tool Result)</strong> 给LLM，同时对环境产生一个实际的<strong>行动 (Action)</strong> 。
+5. <strong>反馈与更新 (Feedback & Update)</strong> ：LLM接收到返回的<strong>工具结果</strong>，评估该步骤的执行效果。基于此结果，LLM会对记忆模块进行<strong>更新 (Memory Update)</strong> ，例如记录本次行动的成功、失败或关键产出。同时，环境因智能体的行动而发生改变，产生新的<strong>观察 (Observation)</strong> ，该信息被感知模块捕获，从而启动下一轮循环。
 
 这种模块化的协同机制与持续的迭代循环，构成了LLM驱动智能体解决复杂问题的核心工作流。
 
@@ -442,9 +442,9 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 这其中，主要有三大思潮主导着不同时期的研究范式：
 
-1. **符号主义 (Symbolism)** ：以**司马贺 (Herbert A. Simon)** 、**明斯基 (Marvin Minsky)** 等先驱为代表，认为智能的核心在于对符号的操作与逻辑推理。这一思想催生了能够理解自然语言指令的SHRDLU、知识驱动的专家系统以及在国际象棋领域取得巨大成功的“深蓝”计算机。
-2. **联结主义 (Connectionism)** ：其灵感源于对大脑神经网络的模拟。尽管早期发展受限，但在**杰弗里·辛顿 (Geoffrey Hinton)** 等研究者的推动下，反向传播算法为神经网络的复苏奠定了基础。最终，随着深度学习时代的到来，这一思想通过卷积神经网络、Transformer等模型成为当前的主流。
-3. **行为主义 (Behaviorism)** ：强调智能体通过与环境的互动和试错来学习最优策略，其现代化身为强化学习 。从早期的TD-Gammon到与深度学习结合并击败人类顶尖棋手的AlphaGo，这一流派为智能体赋予了从经验中习得复杂决策行为的能力。
+1. <strong>符号主义 (Symbolism)</strong> ：以<strong>司马贺 (Herbert A. Simon)</strong> 、<strong>明斯基 (Marvin Minsky)</strong> 等先驱为代表，认为智能的核心在于对符号的操作与逻辑推理。这一思想催生了能够理解自然语言指令的SHRDLU、知识驱动的专家系统以及在国际象棋领域取得巨大成功的“深蓝”计算机。
+2. <strong>联结主义 (Connectionism)</strong> ：其灵感源于对大脑神经网络的模拟。尽管早期发展受限，但在<strong>杰弗里·辛顿 (Geoffrey Hinton)</strong> 等研究者的推动下，反向传播算法为神经网络的复苏奠定了基础。最终，随着深度学习时代的到来，这一思想通过卷积神经网络、Transformer等模型成为当前的主流。
+3. <strong>行为主义 (Behaviorism)</strong> ：强调智能体通过与环境的互动和试错来学习最优策略，其现代化身为强化学习 。从早期的TD-Gammon到与深度学习结合并击败人类顶尖棋手的AlphaGo，这一流派为智能体赋予了从经验中习得复杂决策行为的能力。
 
 进入21世纪20年代，这些思想流派以前所未有的方式深度融合。以GPT系列为代表的大语言模型，其本身是联结主义的产物，却成为了执行符号推理、进行工具调用和规划决策的核心“大脑”，形成了神经-符号结合的现代智能体架构。为了系统性地回顾这一发展脉络，下图2.10梳理了从20世纪50年代至今，人工智能体发展史上的关键理论、项目与事件，为读者提供一个清晰的全局概览，作为本章知识的沉淀。
 
@@ -466,10 +466,10 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 本章回顾了智能体发展的历史脉络，探索了其核心思想从诞生到演进的过程，内容涵盖了人工智能领域几次关键的范式革命：
 
-- **符号主义的探索与局限**：从人工智能的古典时代出发，本章阐述了以专家系统为代表的早期智能体是如何尝试通过“知识+推理”来模拟智能的。通过亲手构建一个基于规则的聊天机器人，我们深刻体会到这一范式的能力边界及其面临的根本性挑战。
-- **分布式智能思想的萌芽**：探讨了马文·明斯基的“心智社会”理论。这一革命性的思想揭示了复杂的整体智能可以从简单的局部单元的交互中涌现，为后续的多智能体系统研究提供了重要的哲学启发。
-- **学习范式的演进**：见证了智能体获取能力方式的根本性变革。从联结主义赋予智能体感知世界的能力，到强化学习使其学会在与环境的交互中进行最优决策，再到基于大规模数据预训练的大型语言模型（LLM）为其提供了前所未有的世界知识和通用推理能力。
-- **现代智能体的诞生**：最后，我们对LLM驱动智能体进行分析。通过对其核心组件（模型、记忆、规划、工具等）和工作原理的分析，我们理解了历史上的各种技术思想是如何在现代Agent的架构中实现技术融合的。
+- <strong>符号主义的探索与局限</strong>：从人工智能的古典时代出发，本章阐述了以专家系统为代表的早期智能体是如何尝试通过“知识+推理”来模拟智能的。通过亲手构建一个基于规则的聊天机器人，我们深刻体会到这一范式的能力边界及其面临的根本性挑战。
+- <strong>分布式智能思想的萌芽</strong>：探讨了马文·明斯基的“心智社会”理论。这一革命性的思想揭示了复杂的整体智能可以从简单的局部单元的交互中涌现，为后续的多智能体系统研究提供了重要的哲学启发。
+- <strong>学习范式的演进</strong>：见证了智能体获取能力方式的根本性变革。从联结主义赋予智能体感知世界的能力，到强化学习使其学会在与环境的交互中进行最优决策，再到基于大规模数据预训练的大型语言模型（LLM）为其提供了前所未有的世界知识和通用推理能力。
+- <strong>现代智能体的诞生</strong>：最后，我们对LLM驱动智能体进行分析。通过对其核心组件（模型、记忆、规划、工具等）和工作原理的分析，我们理解了历史上的各种技术思想是如何在现代Agent的架构中实现技术融合的。
 
 通过本章的学习，我们不仅理解了第一章所介绍的现代智能体从何而来，更能建立了一个关于智能体技术演进的宏观认知框架。可以发现，智能体的发展并非简单的技术迭代，而是一场关于如何定义“智能”、获取“知识”、进行“决策”的思想变革。
 

docs/chapter3/第三章 大模型基础.md

@@ -6,9 +6,9 @@
 
 ### 3.1.1 从 N-gram 到 RNN
 
-**语言模型 (Language Model, LM)** 是自然语言处理的核心，其根本任务是计算一个词序列（即一个句子）出现的概率。一个好的语言模型能够告诉我们什么样的句子是通顺的、自然的。在多智能体系统中，语言模型是智能体理解人类指令、生成回应的基础。本节将回顾从经典的统计方法到现代深度学习模型的演进历程，为理解后续的 Transformer 架构打下坚实的基础。
+<strong>语言模型 (Language Model, LM)</strong> 是自然语言处理的核心，其根本任务是计算一个词序列（即一个句子）出现的概率。一个好的语言模型能够告诉我们什么样的句子是通顺的、自然的。在多智能体系统中，语言模型是智能体理解人类指令、生成回应的基础。本节将回顾从经典的统计方法到现代深度学习模型的演进历程，为理解后续的 Transformer 架构打下坚实的基础。
 
-**（1）统计语言模型与N-gram的思想**
+<strong>（1）统计语言模型与N-gram的思想</strong>
 
 在深度学习兴起之前，统计方法是语言模型的主流。其核心思想是，一个句子出现的概率，等于该句子中每个词出现的条件概率的连乘。对于一个由词 $w_1,w_2,dots,w_m$ 构成的句子 S，其概率 P(S) 可以表示为：
 
@@ -21,17 +21,17 @@ $$P(S)=P(w_1,w_2,…,w_m)=P(w_1)⋅P(w_2∣w_1)⋅P(w_3∣w_1,w_2)⋯P(w_m∣w_1
   <p>图 3.1 马尔可夫假设示意图</p>
 </div>
 
-为了解决这个问题，研究者引入了**马尔可夫假设 (Markov Assumption)** 。其核心思想是：我们不必回溯一个词的全部历史，可以近似地认为，一个词的出现概率只与它前面有限的 $n−1$ 个词有关，如图3.1所示。基于这个假设建立的语言模型，我们称之为 **N-gram模型**。这里的 "N" 代表我们考虑的上下文窗口大小。让我们来看几个最常见的例子来理解这个概念：
+为了解决这个问题，研究者引入了<strong>马尔可夫假设 (Markov Assumption)</strong> 。其核心思想是：我们不必回溯一个词的全部历史，可以近似地认为，一个词的出现概率只与它前面有限的 $n−1$ 个词有关，如图3.1所示。基于这个假设建立的语言模型，我们称之为 <strong>N-gram模型</strong>。这里的 "N" 代表我们考虑的上下文窗口大小。让我们来看几个最常见的例子来理解这个概念：
 
-- **Bigram (当 N=2 时)** ：这是最简单的情况，我们假设一个词的出现只与它前面的一个词有关。因此，链式法则中复杂的条件概率 $P(w_i∣w_1,dots,w_{i−1})$ 就可以被近似为更容易计算的形式：
+- <strong>Bigram (当 N=2 时)</strong> ：这是最简单的情况，我们假设一个词的出现只与它前面的一个词有关。因此，链式法则中复杂的条件概率 $P(w_i∣w_1,dots,w_{i−1})$ 就可以被近似为更容易计算的形式：
 
 $$P(w_{i}∣w_{1},…,w_{i−1})≈P(w_{i}∣w_{i−1})$$
 
-- **Trigram (当 N=3 时)** ：类似地，我们假设一个词的出现只与它前面的两个词有关：
+- <strong>Trigram (当 N=3 时)</strong> ：类似地，我们假设一个词的出现只与它前面的两个词有关：
 
 $$P(w_i∣w_1,…,w_{i−1})≈P(w_i∣w_{i−2},w_{i−1})$$
 
-这些概率可以通过在大型语料库中进行**最大似然估计(Maximum Likelihood Estimation,MLE)** 来计算。这个术语听起来很复杂，但其思想非常直观：最可能出现的，就是我们在数据中看到次数最多的。例如，对于 Bigram 模型，我们想计算在词 $w_{i−1}$ 出现后，下一个词是 $w_i$ 的概率 $P(w_i∣w_{i−1})$。根据最大似然估计，这个概率可以通过简单的计数来估算：
+这些概率可以通过在大型语料库中进行<strong>最大似然估计(Maximum Likelihood Estimation,MLE)</strong> 来计算。这个术语听起来很复杂，但其思想非常直观：最可能出现的，就是我们在数据中看到次数最多的。例如，对于 Bigram 模型，我们想计算在词 $w_{i−1}$ 出现后，下一个词是 $w_i$ 的概率 $P(w_i∣w_{i−1})$。根据最大似然估计，这个概率可以通过简单的计数来估算：
 
 $$P(w_i∣w_{i−1})=Count(w_{i−1})Count(w_{i−1},w_i)$$
 
@@ -44,19 +44,19 @@ $$P(w_i∣w_{i−1})=Count(w_{i−1})Count(w_{i−1},w_i)$$
 
 为了让这个过程更具体，我们来手动进行一次计算。假设我们拥有一个仅包含以下两句话的迷你语料库：`datawhale agent learns`, `datawhale agent works`。我们的目标是：使用 Bigram (N=2) 模型，估算句子 `datawhale agent learns` 出现的概率。根据 Bigram 的假设，我们每次会考察连续的两个词（即一个词对）。
 
-**第一步：计算第一个词的概率** $P(datawhale)$ 这是 `datawhale` 出现的次数除以总词数。`datawhale` 出现了 2 次，总词数是 6。
+<strong>第一步：计算第一个词的概率</strong> $P(datawhale)$ 这是 `datawhale` 出现的次数除以总词数。`datawhale` 出现了 2 次，总词数是 6。
 
 $$P(\text{datawhale}) = \frac{\text{总语料中"datawhale"的数量}}{\text{总语料的词数}} = \frac{2}{6} \approx 0.333$$
 
-**第二步：计算条件概率** $P(agent∣datawhale)$ 这是词对 `datawhale agent` 出现的次数除以 `datawhale` 出现的总次数。`datawhale agent` 出现了 2 次，`datawhale` 出现了 2 次。
+<strong>第二步：计算条件概率</strong> $P(agent∣datawhale)$ 这是词对 `datawhale agent` 出现的次数除以 `datawhale` 出现的总次数。`datawhale agent` 出现了 2 次，`datawhale` 出现了 2 次。
 
 $$P(\text{agent}|\text{datawhale}) =  \frac{\text{Count}(\text{datawhale agent})}{\text{Count}(\text{datawhale})} =  \frac{2}{2} = 1$$
 
-**第三步：计算条件概率** $P(learns∣agent)$ 这是词对 `agent learns` 出现的次数除以 `agent` 出现的总次数。`agent learns` 出现了 1 次，`agent` 出现了 2 次。
+<strong>第三步：计算条件概率</strong> $P(learns∣agent)$ 这是词对 `agent learns` 出现的次数除以 `agent` 出现的总次数。`agent learns` 出现了 1 次，`agent` 出现了 2 次。
 
 $$P(\text{learns}|\text{agent}) =  \frac{\text{Count(agent learns)}}{\text{Count(agent)}} =  \frac{1}{2} = 0.5$$
 
-**最后：将概率连乘** 所以，整个句子的近似概率为：
+<strong>最后：将概率连乘</strong> 所以，整个句子的近似概率为：
 
 $$P(\text{datawhale agent learns}) \approx  P(\text{datawhale}) \cdot  P(\text{agent}|\text{datawhale}) \cdot  P(\text{learns}|\text{agent}) \approx  0.333 \cdot 1 \cdot 0.5 \approx 0.167$$
 
@@ -101,24 +101,24 @@ print(f"最后: P('datawhale agent learns') ≈ {p_datawhale:.3f} * {p_agent_giv
 
 N-gram 模型虽然简单有效，但有两个致命缺陷：
 
-1. **数据稀疏性 (Sparsity)** ：如果一个词序列从未在语料库中出现，其概率估计就为 0，这显然是不合理的。虽然可以通过平滑 (Smoothing) 技术缓解，但无法根除。
-2. **泛化能力差：**模型无法理解词与词之间的语义相似性。例如，即使模型在语料库中见过很多次 `agent learns`，它也无法将这个知识泛化到语义相似的词上。当我们计算 `robot learns` 的概率时，如果 `robot` 这个词从未出现过，或者 `robot learns` 这个组合从未出现过，模型计算出的概率也会是零。模型无法理解 `agent` 和 `robot` 在语义上的相似性。
+1. <strong>数据稀疏性 (Sparsity)</strong> ：如果一个词序列从未在语料库中出现，其概率估计就为 0，这显然是不合理的。虽然可以通过平滑 (Smoothing) 技术缓解，但无法根除。
+2. <strong>泛化能力差：</strong>模型无法理解词与词之间的语义相似性。例如，即使模型在语料库中见过很多次 `agent learns`，它也无法将这个知识泛化到语义相似的词上。当我们计算 `robot learns` 的概率时，如果 `robot` 这个词从未出现过，或者 `robot learns` 这个组合从未出现过，模型计算出的概率也会是零。模型无法理解 `agent` 和 `robot` 在语义上的相似性。
 
-**（2）神经网络语言模型与词嵌入**
+<strong>（2）神经网络语言模型与词嵌入</strong>
 
-N-gram 模型的根本缺陷在于它将词视为孤立、离散的符号。为了克服这个问题，研究者们转向了神经网络，并提出了一种思想：用连续的向量来表示词。2003年，Bengio 等人提出的**前馈神经网络语言模型 (Feedforward Neural Network Language Model)** 是这一领域的里程碑^[1]^。
+N-gram 模型的根本缺陷在于它将词视为孤立、离散的符号。为了克服这个问题，研究者们转向了神经网络，并提出了一种思想：用连续的向量来表示词。2003年，Bengio 等人提出的<strong>前馈神经网络语言模型 (Feedforward Neural Network Language Model)</strong> 是这一领域的里程碑^[1]^。
 
 其核心思想可以分为两步：
 
-1. **构建一个语义空间**：创建一个高维的连续向量空间，然后将词汇表中的每个词都映射为该空间中的一个点。这个点（即向量）就被称为**词嵌入 (Word Embedding)** 或词向量。在这个空间里，语义上相近的词，它们对应的向量在空间中的位置也相近。例如，`agent` 和 `robot` 的向量会靠得很近，而 `agent` 和 `apple` 的向量会离得很远。
-2. **学习从上下文到下一个词的映射**：利用神经网络的强大拟合能力，来学习一个函数。这个函数的输入是前 $n−1$ 个词的词向量，输出是词汇表中每个词在当前上下文后出现的概率分布。
+1. <strong>构建一个语义空间</strong>：创建一个高维的连续向量空间，然后将词汇表中的每个词都映射为该空间中的一个点。这个点（即向量）就被称为<strong>词嵌入 (Word Embedding)</strong> 或词向量。在这个空间里，语义上相近的词，它们对应的向量在空间中的位置也相近。例如，`agent` 和 `robot` 的向量会靠得很近，而 `agent` 和 `apple` 的向量会离得很远。
+2. <strong>学习从上下文到下一个词的映射</strong>：利用神经网络的强大拟合能力，来学习一个函数。这个函数的输入是前 $n−1$ 个词的词向量，输出是词汇表中每个词在当前上下文后出现的概率分布。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/3-figures/1757249275674-1.png" alt="图片描述" width="90%"/>
   <p>图 3.2 神经网络语言模型架构示意图</p>
 </div>
 
-如图3.2所示，在这个架构中，词嵌入是在模型训练过程中自动学习得到的。模型为了完成“预测下一个词”这个任务，会不断调整每个词的向量位置，最终使这些向量能够蕴含丰富的语义信息。一旦我们将词转换成了向量，我们就可以用数学工具来度量它们之间的关系。最常用的方法是**余弦相似度 (Cosine Similarity)** ，它通过计算两个向量夹角的余弦值来衡量它们的相似性。
+如图3.2所示，在这个架构中，词嵌入是在模型训练过程中自动学习得到的。模型为了完成“预测下一个词”这个任务，会不断调整每个词的向量位置，最终使这些向量能够蕴含丰富的语义信息。一旦我们将词转换成了向量，我们就可以用数学工具来度量它们之间的关系。最常用的方法是<strong>余弦相似度 (Cosine Similarity)</strong> ，它通过计算两个向量夹角的余弦值来衡量它们的相似性。
 
 $$\text{similarity}(\vec{a}, \vec{b}) = \cos(\theta) = \frac{\vec{a} \cdot \vec{b}}{|\vec{a}| |\vec{b}|}$$
 
@@ -164,32 +164,32 @@ king - man + woman 的结果向量: [0.9 0.2]
 
 神经网络语言模型通过词嵌入，成功解决了 N-gram 模型的泛化能力差的问题。然而，它仍然有一个类似 N-gram 的限制：上下文窗口是固定的。它只能考虑固定数量的前文，这为能处理任意长序列的循环神经网络埋下了伏笔。
 
-**（3）循环神经网络 (RNN) 与长短时记忆网络 (LSTM)**
+<strong>（3）循环神经网络 (RNN) 与长短时记忆网络 (LSTM)</strong>
 
-前一节的神经网络语言模型虽然引入了词嵌入解决了泛化问题，但它和 N-gram 模型一样，上下文窗口是固定大小的。为了预测下一个词，它只能看到前 n−1 个词，再早的历史信息就被丢弃了。这显然不符合我们人类理解语言的方式。为了打破固定窗口的限制，**循环神经网络 (Recurrent Neural Network, RNN)** 应运而生，其核心思想非常直观：为网络增加“记忆”能力^[2]^。
+前一节的神经网络语言模型虽然引入了词嵌入解决了泛化问题，但它和 N-gram 模型一样，上下文窗口是固定大小的。为了预测下一个词，它只能看到前 n−1 个词，再早的历史信息就被丢弃了。这显然不符合我们人类理解语言的方式。为了打破固定窗口的限制，<strong>循环神经网络 (Recurrent Neural Network, RNN)</strong> 应运而生，其核心思想非常直观：为网络增加“记忆”能力^[2]^。
 
-如图3.3所示，RNN 的设计引入了一个**隐藏状态 (hidden state)** 向量，我们可以将其理解为网络的短期记忆。在处理序列的每一步，网络都会读取当前的输入词，并结合它上一刻的记忆（即上一个时间步的隐藏状态），然后生成一个新的记忆（即当前时间步的隐藏状态）传递给下一刻。这个循环往复的过程，使得信息可以在序列中不断向后传递。
+如图3.3所示，RNN 的设计引入了一个<strong>隐藏状态 (hidden state)</strong> 向量，我们可以将其理解为网络的短期记忆。在处理序列的每一步，网络都会读取当前的输入词，并结合它上一刻的记忆（即上一个时间步的隐藏状态），然后生成一个新的记忆（即当前时间步的隐藏状态）传递给下一刻。这个循环往复的过程，使得信息可以在序列中不断向后传递。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/3-figures/1757249275674-2.png" alt="图片描述" width="90%"/>
   <p>图 3.3 RNN 结构示意图</p>
 </div>
 
-然而，标准的 RNN 在实践中存在一个严重的问题：**长期依赖问题 (Long-term Dependency Problem)** 。在训练过程中，模型需要通过反向传播算法根据输出端的误差来调整网络深处的权重。对于 RNN 而言，序列的长度就是网络的深度。当序列很长时，梯度在从后向前传播的过程中会经过多次连乘，这会导致梯度值快速趋向于零（**梯度消失**）或变得极大（**梯度爆炸**）。梯度消失使得模型无法有效学习到序列早期信息对后期输出的影响，即难以捕捉长距离的依赖关系。
+然而，标准的 RNN 在实践中存在一个严重的问题：<strong>长期依赖问题 (Long-term Dependency Problem)</strong> 。在训练过程中，模型需要通过反向传播算法根据输出端的误差来调整网络深处的权重。对于 RNN 而言，序列的长度就是网络的深度。当序列很长时，梯度在从后向前传播的过程中会经过多次连乘，这会导致梯度值快速趋向于零（<strong>梯度消失</strong>）或变得极大（<strong>梯度爆炸</strong>）。梯度消失使得模型无法有效学习到序列早期信息对后期输出的影响，即难以捕捉长距离的依赖关系。
 
-为了解决长期依赖问题，**长短时记忆网络 (Long Short-Term Memory, LSTM)** 被设计出来^[3]^。LSTM 是一种特殊的 RNN，其核心创新在于引入了**细胞状态 (Cell State)** 和一套精密的**门控机制 (Gating Mechanism)** 。细胞状态可以看作是一条独立于隐藏状态的信息通路，允许信息在时间步之间更顺畅地传递。门控机制则是由几个小型神经网络构成，它们可以学习如何有选择地让信息通过，从而控制细胞状态中信息的增加与移除。这些门包括：
+为了解决长期依赖问题，<strong>长短时记忆网络 (Long Short-Term Memory, LSTM)</strong> 被设计出来^[3]^。LSTM 是一种特殊的 RNN，其核心创新在于引入了<strong>细胞状态 (Cell State)</strong> 和一套精密的<strong>门控机制 (Gating Mechanism)</strong> 。细胞状态可以看作是一条独立于隐藏状态的信息通路，允许信息在时间步之间更顺畅地传递。门控机制则是由几个小型神经网络构成，它们可以学习如何有选择地让信息通过，从而控制细胞状态中信息的增加与移除。这些门包括：
 
-- **遗忘门 (Forget Gate)** : 决定从上一时刻的细胞状态中丢弃哪些信息。
-- **输入门 (Input Gate)** : 决定将当前输入中的哪些新信息存入细胞状态。
-- **输出门 (Output Gate)** : 决定根据当前的细胞状态，输出哪些信息到隐藏状态。
+- <strong>遗忘门 (Forget Gate)</strong> : 决定从上一时刻的细胞状态中丢弃哪些信息。
+- <strong>输入门 (Input Gate)</strong> : 决定将当前输入中的哪些新信息存入细胞状态。
+- <strong>输出门 (Output Gate)</strong> : 决定根据当前的细胞状态，输出哪些信息到隐藏状态。
 
 ### 3.1.2 Transformer 架构解析
 
-在上一节中，我们看到RNN及LSTM通过引入循环结构来处理序列数据，这在一定程度上解决了捕捉长距离依赖的问题。然而，这种循环的计算方式也带来了新的瓶颈：它必须按顺序处理数据。第 t 个时间步的计算，必须等待第 t−1 个时间步完成后才能开始。这意味着 RNN 无法进行大规模的并行计算，在处理长序列时效率低下，这极大地限制了模型规模和训练速度的提升。Transformer在2017 年由谷歌团队提出^[4]^。它完全抛弃了循环结构，转而完全依赖一种名为**注意力 (Attention)** 的机制来捕捉序列内的依赖关系，从而实现了真正意义上的并行计算。
+在上一节中，我们看到RNN及LSTM通过引入循环结构来处理序列数据，这在一定程度上解决了捕捉长距离依赖的问题。然而，这种循环的计算方式也带来了新的瓶颈：它必须按顺序处理数据。第 t 个时间步的计算，必须等待第 t−1 个时间步完成后才能开始。这意味着 RNN 无法进行大规模的并行计算，在处理长序列时效率低下，这极大地限制了模型规模和训练速度的提升。Transformer在2017 年由谷歌团队提出^[4]^。它完全抛弃了循环结构，转而完全依赖一种名为<strong>注意力 (Attention)</strong> 的机制来捕捉序列内的依赖关系，从而实现了真正意义上的并行计算。
 
-**（1）Encoder-Decoder 整体结构**
+<strong>（1）Encoder-Decoder 整体结构</strong>
 
-最初的 Transformer 模型是为端到端任务机器翻译而设计的。如图3.4所示，它在宏观上遵循了一个经典的**编码器-解码器 (Encoder-Decoder)** 架构。
+最初的 Transformer 模型是为端到端任务机器翻译而设计的。如图3.4所示，它在宏观上遵循了一个经典的<strong>编码器-解码器 (Encoder-Decoder)</strong> 架构。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/3-figures/1757249275674-3.png" alt="图片描述" width="50%"/>
@@ -199,8 +199,8 @@ king - man + woman 的结果向量: [0.9 0.2]
 
 我们可以将这个结构理解为一个分工明确的团队：
 
-1. **编码器 (Encoder)** ：任务是“**理解**”输入的整个句子。它会读取所有输入词元(这个概念会在3.2.2节介绍)，最终为每个词元生成一个富含上下文信息的向量表示。
-2. **解码器 (Decoder)** ：任务是“**生成**”目标句子。它会参考自己已经生成的前文，并“咨询”编码器的理解结果，来生成下一个词。
+1. <strong>编码器 (Encoder)</strong> ：任务是“<strong>理解</strong>”输入的整个句子。它会读取所有输入词元(这个概念会在3.2.2节介绍)，最终为每个词元生成一个富含上下文信息的向量表示。
+2. <strong>解码器 (Decoder)</strong> ：任务是“<strong>生成</strong>”目标句子。它会参考自己已经生成的前文，并“咨询”编码器的理解结果，来生成下一个词。
 
 为了真正理解 Transformer 的工作原理，最好的方法莫过于亲手实现它。在本节中，我们将采用一种“自顶向下”的方法：首先，我们搭建出 Transformer 完整的代码框架，定义好所有需要的类和方法。然后，我们将像完成拼图一样，逐一实现这些类的具体功能。
 
@@ -284,17 +284,17 @@ class DecoderLayer(nn.Module):
         return x
 ```
 
-**3.1.2.2 从自注意力到多头注意力**
+<strong>3.1.2.2 从自注意力到多头注意力</strong>
 
 现在，我们来填充骨架中最关键的模块，注意力机制。
 
-想象一下我们阅读这个句子：“The agent learns because **it** is intelligent.”。当我们读到加粗的 "**it**" 时，为了理解它的指代，我们的大脑会不自觉地将更多的注意力放在前面的 "agent" 这个词上。**自注意力 (Self-Attention)** 机制就是对这种现象的数学建模。它允许模型在处理序列中的每一个词时，都能兼顾句子中的所有其他词，并为这些词分配不同的“注意力权重”。权重越高的词，代表其与当前词的关联性越强，其信息也应该在当前词的表示中占据更大的比重。
+想象一下我们阅读这个句子：“The agent learns because <strong>it</strong> is intelligent.”。当我们读到加粗的 "<strong>it</strong>" 时，为了理解它的指代，我们的大脑会不自觉地将更多的注意力放在前面的 "agent" 这个词上。<strong>自注意力 (Self-Attention)</strong> 机制就是对这种现象的数学建模。它允许模型在处理序列中的每一个词时，都能兼顾句子中的所有其他词，并为这些词分配不同的“注意力权重”。权重越高的词，代表其与当前词的关联性越强，其信息也应该在当前词的表示中占据更大的比重。
 
 为了实现上述过程，自注意力机制为每个输入的词元向量引入了三个可学习的角色：
 
-- **查询 (Query, Q)** : 代表当前词元，它正在主动地“查询”其他词元以获取信息。
-- **键 (Key, K)** : 代表句子中可被查询的词元“标签”或“索引”。
-- **值 (Value, V)** : 代表词元本身所携带的“内容”或“信息”。
+- <strong>查询 (Query, Q)</strong> : 代表当前词元，它正在主动地“查询”其他词元以获取信息。
+- <strong>键 (Key, K)</strong> : 代表句子中可被查询的词元“标签”或“索引”。
+- <strong>值 (Value, V)</strong> : 代表词元本身所携带的“内容”或“信息”。
 
 这三个向量都是由原始的词嵌入向量乘以三个不同的、可学习的权重矩阵 ($W^Q,W^K,W^V$) 得到的。整个计算过程可以分为以下几步，我们可以把它想象成一次高效的开卷考试：
 
@@ -380,9 +380,9 @@ class MultiHeadAttention(nn.Module):
         return output
 ```
 
-**3.1.2.3 前馈神经网络**
+<strong>3.1.2.3 前馈神经网络</strong>
 
-在每个 Encoder 和 Decoder 层中，多头注意力子层之后都跟着一个**逐位置前馈网络(Position-wise Feed-Forward Network, FFN)** 。如果说注意力层的作用是从整个序列中“动态地聚合”相关信息，那么前馈网络的作用从这些聚合后的信息中提取更高阶的特征。
+在每个 Encoder 和 Decoder 层中，多头注意力子层之后都跟着一个<strong>逐位置前馈网络(Position-wise Feed-Forward Network, FFN)</strong> 。如果说注意力层的作用是从整个序列中“动态地聚合”相关信息，那么前馈网络的作用从这些聚合后的信息中提取更高阶的特征。
 
 这个名字的关键在于“逐位置”。它意味着这个前馈网络会独立地作用于序列中的每一个词元向量。换句话说，对于一个长度为 `seq_len` 的序列，这个 FFN 实际上会被调用 `seq_len` 次，每次处理一个词元。重要的是，所有位置共享的是同一组网络权重。这种设计既保持了对每个位置进行独立加工的能力，又大大减少了模型的参数量。这个网络的结构非常简单，由两个线性变换和一个 ReLU 激活函数组成：
 
@@ -414,18 +414,18 @@ class PositionWiseFeedForward(nn.Module):
         return x
 ```
 
-**3.1.2.4 残差连接与层归一化**
+<strong>3.1.2.4 残差连接与层归一化</strong>
 
 在 Transformer 的每个编码器和解码器层中，所有子模块（如多头注意力和前馈网络）都被一个 `Add & Norm` 操作包裹。这个组合是为了保证 Transformer 能够稳定训练。
 
 这个操作由两个部分组成：
 
-- **残差连接 (Add)** : 该操作将子模块的输入 `x` 直接加到该子模块的输出 `Sublayer(x)` 上。这一结构解决了深度神经网络中的**梯度消失 (Vanishing Gradients)** 问题。在反向传播时，梯度可以绕过子模块直接向前传播，从而保证了即使网络层数很深，模型也能得到有效的训练。其公式可以表示为：$\text{Output} = x + \text{Sublayer}(x)$。
-- **层归一化 (Norm)** : 该操作对单个样本的所有特征进行归一化，使其均值为0，方差为1。这解决了模型训练过程中的**内部协变量偏移 (Internal Covariate Shift)** 问题，使每一层的输入分布保持稳定，从而加速模型收敛并提高训练的稳定性。
+- <strong>残差连接 (Add)</strong> : 该操作将子模块的输入 `x` 直接加到该子模块的输出 `Sublayer(x)` 上。这一结构解决了深度神经网络中的<strong>梯度消失 (Vanishing Gradients)</strong> 问题。在反向传播时，梯度可以绕过子模块直接向前传播，从而保证了即使网络层数很深，模型也能得到有效的训练。其公式可以表示为：$\text{Output} = x + \text{Sublayer}(x)$。
+- <strong>层归一化 (Norm)</strong> : 该操作对单个样本的所有特征进行归一化，使其均值为0，方差为1。这解决了模型训练过程中的<strong>内部协变量偏移 (Internal Covariate Shift)</strong> 问题，使每一层的输入分布保持稳定，从而加速模型收敛并提高训练的稳定性。
 
-**3.1.2.5 位置编码**
+<strong>3.1.2.5 位置编码</strong>
 
-我们已经了解，Transformer 的核心是自注意力机制，它通过计算序列中任意两个词元之间的关系来捕捉依赖。然而，这种计算方式有一个固有的问题：它本身不包含任何关于词元顺序或位置的信息。对于自注意力来说，“agent learns” 和 “learns agent” 这两个序列是完全等价的，因为它只关心词元之间的关系，而忽略了它们的排列。为了解决这个问题，Transformer 引入了**位置编码 (Positional Encoding)** 。
+我们已经了解，Transformer 的核心是自注意力机制，它通过计算序列中任意两个词元之间的关系来捕捉依赖。然而，这种计算方式有一个固有的问题：它本身不包含任何关于词元顺序或位置的信息。对于自注意力来说，“agent learns” 和 “learns agent” 这两个序列是完全等价的，因为它只关心词元之间的关系，而忽略了它们的排列。为了解决这个问题，Transformer 引入了<strong>位置编码 (Positional Encoding)</strong> 。
 
 位置编码的核心思想是，为输入序列中的每一个词元嵌入向量，都额外加上一个能代表其绝对位置和相对位置信息的“位置向量”。这个位置向量不是通过学习得到的，而是通过一个固定的数学公式直接计算得出。这样一来，即使两个词元（例如，两个都叫 `agent` 的词元）自身的嵌入是相同的，但由于它们在句子中的位置不同，它们最终输入到 Transformer 模型中的向量就会因为加上了不同的位置编码而变得独一无二。原论文中提出的位置编码使用正弦和余弦函数来生成，其公式如下：
 
@@ -477,11 +477,11 @@ class PositionalEncoding(nn.Module):
 
 前面一节中，我们动手构建了一个完整的Transformer 模型，它能在很多端到端的场景表现出色。但是当任务转换为构建一个与人对话、创作、作为智能体大脑的通用模型时，或许我们并不需要那么复杂的结构。
 
-Transformer的设计哲学是“先理解，再生成”。编码器负责深入理解输入的整个句子，形成一个包含全局信息的上下文记忆，然后解码器基于这份记忆来生成翻译。但 OpenAI 在开发 **GPT (Generative Pre-trained Transformer)** 时，提出了一个更简单的思想^[5]^：**语言的核心任务，不就是预测下一个最有可能出现的词吗？**
+Transformer的设计哲学是“先理解，再生成”。编码器负责深入理解输入的整个句子，形成一个包含全局信息的上下文记忆，然后解码器基于这份记忆来生成翻译。但 OpenAI 在开发 <strong>GPT (Generative Pre-trained Transformer)</strong> 时，提出了一个更简单的思想^[5]^：<strong>语言的核心任务，不就是预测下一个最有可能出现的词吗？</strong>
 
-无论是回答问题、写故事还是生成代码，本质上都是在一个已有的文本序列后面，一个词一个词地添加最合理的内容。基于这个思想，GPT 做了一个大胆的简化：**它完全抛弃了编码器，只保留了解码器部分。** 这就是 **Decoder-Only** 架构的由来。
+无论是回答问题、写故事还是生成代码，本质上都是在一个已有的文本序列后面，一个词一个词地添加最合理的内容。基于这个思想，GPT 做了一个大胆的简化：<strong>它完全抛弃了编码器，只保留了解码器部分。</strong> 这就是 <strong>Decoder-Only</strong> 架构的由来。
 
-Decoder-Only 架构的工作模式被称为**自回归 (Autoregressive)** 。这个听起来很专业的术语，其实描述了一个非常简单的过程：
+Decoder-Only 架构的工作模式被称为<strong>自回归 (Autoregressive)</strong> 。这个听起来很专业的术语，其实描述了一个非常简单的过程：
 
 1. 给模型一个起始文本（例如 “Datawhale Agent is”）。
 2. 模型预测出下一个最有可能的词（例如 “a”）。
@@ -493,17 +493,17 @@ Decoder-Only 架构的工作模式被称为**自回归 (Autoregressive)** 。这
 
 你可能会问，解码器是如何保证在预测第 `t` 个词时，不去“偷看”第 `t+1` 个词的答案呢？
 
-答案就是**掩码自注意力 (Masked Self-Attention)** 。在 Decoder-Only 架构中，这个机制变得至关重要。它的工作原理非常巧妙：
+答案就是<strong>掩码自注意力 (Masked Self-Attention)</strong> 。在 Decoder-Only 架构中，这个机制变得至关重要。它的工作原理非常巧妙：
 
 在自注意力机制计算出注意力分数矩阵（即每个词对其他所有词的关注度得分）之后，但在进行 Softmax 归一化之前，模型会应用一个“掩码”。这个掩码会将所有位于当前位置之后（即目前尚未观测到）的词元对应的分数，替换为一个非常大的负数。当这个带有负无穷分数的矩阵经过 Softmax 函数时，这些位置的概率就会变为 0。这样一来，模型在计算任何一个位置的输出时，都从数学上被阻止了去关注它后面的信息。这种机制保证了模型在预测下一个词时，能且仅能依赖它已经见过的、位于当前位置之前的所有信息，从而确保了预测的公平性和逻辑的连贯性。
 
-**Decoder-Only 架构的优势**
+<strong>Decoder-Only 架构的优势</strong>
 
 这种看似简单的架构，却带来了巨大的成功，其优势在于：
 
-- **训练目标统一**：模型的唯一任务就是“预测下一个词”，这个简单的目标非常适合在海量的无标注文本数据上进行预训练。
-- **结构简单，易于扩展**：更少的组件意味着更容易进行规模化扩展。今天的 GPT-4、Llama 等拥有数千亿甚至万亿参数的巨型模型，都是基于这种简洁的架构。
-- **天然适合生成任务**：其自回归的工作模式与所有生成式任务（对话、写作、代码生成等）完美契合，这也是它能成为构建通用智能体基础的核心原因。
+- <strong>训练目标统一</strong>：模型的唯一任务就是“预测下一个词”，这个简单的目标非常适合在海量的无标注文本数据上进行预训练。
+- <strong>结构简单，易于扩展</strong>：更少的组件意味着更容易进行规模化扩展。今天的 GPT-4、Llama 等拥有数千亿甚至万亿参数的巨型模型，都是基于这种简洁的架构。
+- <strong>天然适合生成任务</strong>：其自回归的工作模式与所有生成式任务（对话、写作、代码生成等）完美契合，这也是它能成为构建通用智能体基础的核心原因。
 
 总而言之，从 Transformer 的解码器演变而来的 Decoder-Only 架构，通过“预测下一个词”这一简单的范式，开启了我们今天所处的大语言模型时代。
 
@@ -511,13 +511,13 @@ Decoder-Only 架构的工作模式被称为**自回归 (Autoregressive)** 。这
 
 ### 3.2.1 提示工程
 
-如果我们把大语言模型比作一个能力极强的“大脑”，那么**提示 (Prompt)** 就是我们与这个“大脑”沟通的语言。提示工程，就是研究如何设计出精准的提示，从而引导模型产生我们期望输出的回复。对于构建智能体而言，一个精心设计的提示能让智能体之间协作分工变得高效。
+如果我们把大语言模型比作一个能力极强的“大脑”，那么<strong>提示 (Prompt)</strong> 就是我们与这个“大脑”沟通的语言。提示工程，就是研究如何设计出精准的提示，从而引导模型产生我们期望输出的回复。对于构建智能体而言，一个精心设计的提示能让智能体之间协作分工变得高效。
 
-**3.2.1.1 零样本、单样本与少样本提示**
+<strong>3.2.1.1 零样本、单样本与少样本提示</strong>
 
 根据我们给模型提供示例（Exemplar）的数量，提示可以分为三种类型。为了更好地理解它们，让我们以一个情感分类任务为例，目标是让模型判断一段文本的情感色彩（如正面、负面或中性）。
 
-**零样本提示 (Zero-shot Prompting)** 这指的是我们不给模型任何示例，直接让它根据指令完成任务。这得益于模型在海量数据上预训练后获得的强大泛化能力。
+<strong>零样本提示 (Zero-shot Prompting)</strong> 这指的是我们不给模型任何示例，直接让它根据指令完成任务。这得益于模型在海量数据上预训练后获得的强大泛化能力。
 
 案例： 我们直接向模型下达指令，要求它完成情感分类任务。
 
@@ -526,7 +526,7 @@ Decoder-Only 架构的工作模式被称为**自回归 (Autoregressive)** 。这
 情感：正面
 ```
 
-**单样本提示 (One-shot Prompting)** 我们给模型提供一个完整的示例，向它展示任务的格式和期望的输出风格。
+<strong>单样本提示 (One-shot Prompting)</strong> 我们给模型提供一个完整的示例，向它展示任务的格式和期望的输出风格。
 
 我们给模型提供一个完整的示例，向它展示任务的格式和期望的输出风格。
 
@@ -542,7 +542,7 @@ Decoder-Only 架构的工作模式被称为**自回归 (Autoregressive)** 。这
 
 模型会模仿给出的示例格式，为第二段文本补全“正面”。
 
-**少样本提示 (Few-shot Prompting)** 我们提供多个示例，这能让模型更准确地理解任务的细节、边界和细微差别，从而获得更好的性能。
+<strong>少样本提示 (Few-shot Prompting)</strong> 我们提供多个示例，这能让模型更准确地理解任务的细节、边界和细微差别，从而获得更好的性能。
 
 案例： 我们提供涵盖了不同情况的多个示例，让模型对任务有更全面的理解。
 
@@ -559,13 +559,13 @@ Decoder-Only 架构的工作模式被称为**自回归 (Autoregressive)** 。这
 
 模型会综合所有示例，更准确地将最后一句的情感分类为“正面”。
 
-**3.2.1.2 指令调优的影响**
+<strong>3.2.1.2 指令调优的影响</strong>
 
 早期的 GPT 模型（如 GPT-3）主要是“文本补全”模型，它们擅长根据前面的文本续写，但不一定能很好地理解并执行人类的指令。
 
-**指令调优 (Instruction Tuning)** 是一种微调技术，它使用大量“指令-回答”格式的数据对预训练模型进行进一步的训练。经过指令调优后，模型能更好地理解并遵循用户的指令。我们今天日常工作学习中使用的所有模型（如 `ChatGPT`, `DeepSeek`, `Qwen`）都是其模型家族中经过指令调优过的模型。
+<strong>指令调优 (Instruction Tuning)</strong> 是一种微调技术，它使用大量“指令-回答”格式的数据对预训练模型进行进一步的训练。经过指令调优后，模型能更好地理解并遵循用户的指令。我们今天日常工作学习中使用的所有模型（如 `ChatGPT`, `DeepSeek`, `Qwen`）都是其模型家族中经过指令调优过的模型。
 
-- **对“文本补全”模型的提示(你需要用少样本提示“教会”模型做什么)：**
+- <strong>对“文本补全”模型的提示(你需要用少样本提示“教会”模型做什么)：</strong>
 
 ```Plain
 这是一段将英文翻译成中文的程序。
@@ -575,7 +575,7 @@ Decoder-Only 架构的工作模式被称为**自回归 (Autoregressive)** 。这
 中文：
 ```
 
-- **对“指令调优”模型的提示(你可以直接下达指令)：**
+- <strong>对“指令调优”模型的提示(你可以直接下达指令)：</strong>
 
 ```Plain
 请将下面的英文翻译成中文：
@@ -584,16 +584,16 @@ How are you?
 
 指令调优的出现，极大地简化了我们与模型交互的方式，使得直接、清晰的自然语言指令成为可能。
 
-**3.2.1.3 基础提示技巧**
+<strong>3.2.1.3 基础提示技巧</strong>
 
-**角色扮演 (Role-playing)** 通过赋予模型一个特定的角色，我们可以引导它的回答风格、语气和知识范围，使其输出更符合特定场景的需求。
+<strong>角色扮演 (Role-playing)</strong> 通过赋予模型一个特定的角色，我们可以引导它的回答风格、语气和知识范围，使其输出更符合特定场景的需求。
 
 ```Plain
 # 案例
 你现在是一位资深的Python编程专家。请解释一下Python中的GIL（全局解释器锁）是什么，要让一个初学者也能听懂。
 ```
 
-**上下文示例 (In-context Example)** 这与少样本提示的思想一致，通过在提示中提供清晰的输入输出示例，来“教会”模型如何处理我们的请求，尤其是在处理复杂格式或特定风格的任务时非常有效。
+<strong>上下文示例 (In-context Example)</strong> 这与少样本提示的思想一致，通过在提示中提供清晰的输入输出示例，来“教会”模型如何处理我们的请求，尤其是在处理复杂格式或特定风格的任务时非常有效。
 
 ```Plain
 # 案例
@@ -606,9 +606,9 @@ How are you?
 输出：
 ```
 
-**3.2.1.4 思维链**
+<strong>3.2.1.4 思维链</strong>
 
-对于需要逻辑推理、计算或多步骤思考的复杂问题，直接让模型给出答案往往容易出错。**思维链 (Chain-of-Thought, CoT)** 是一种强大的提示技巧，它通过引导模型“一步一步地思考”，提升了模型在复杂任务上的推理能力。
+对于需要逻辑推理、计算或多步骤思考的复杂问题，直接让模型给出答案往往容易出错。<strong>思维链 (Chain-of-Thought, CoT)</strong> 是一种强大的提示技巧，它通过引导模型“一步一步地思考”，提升了模型在复杂任务上的推理能力。
 
 实现 CoT 的关键，是在提示中加入一句简单的引导语，如“请逐步思考”或“Let's think step by step”。
 
@@ -634,26 +634,26 @@ How are you?
 
 ### 3.2.2 文本分词
 
-我们知道，计算机本质上只能理解数字。因此，在将自然语言文本喂给大语言模型之前，必须先将其转换成模型能够处理的数字格式。这个将文本序列转换为数字序列的过程，就叫做**分词 (Tokenization)** 。**分词器 (Tokenizer)** 的作用，就是定义一套规则，将原始文本切分成一个个最小的单元，我们称之为**词元 (Token)** 。
+我们知道，计算机本质上只能理解数字。因此，在将自然语言文本喂给大语言模型之前，必须先将其转换成模型能够处理的数字格式。这个将文本序列转换为数字序列的过程，就叫做<strong>分词 (Tokenization)</strong> 。<strong>分词器 (Tokenizer)</strong> 的作用，就是定义一套规则，将原始文本切分成一个个最小的单元，我们称之为<strong>词元 (Token)</strong> 。
 
-**3.2.2.1 为何需要分词**
+<strong>3.2.2.1 为何需要分词</strong>
 
 早期的自然语言处理任务可能会采用简单的分词策略：
 
-- **按词分词 (Word-based)** ：直接用空格或标点符号将句子切分成单词。这种方法很直观，但会面临“词表爆炸”的问题。一个语言的词汇量是巨大的，如果每个词都作为一个独立的词元，词表会变得难以管理。更糟糕的是，模型将无法处理任何未在词表中出现过的词，例如 “DatawhaleAgent”。
-- **按字符分词 (Character-based)** ：将文本切分成单个字符。这种方法词表很小（例如英文字母、数字和标点），不存在 OOV 问题。但它的缺点是，单个字符大多不具备独立的语义，模型需要花费更多的精力去学习如何将字符组合成有意义的词，导致学习效率低下。
+- <strong>按词分词 (Word-based)</strong> ：直接用空格或标点符号将句子切分成单词。这种方法很直观，但会面临“词表爆炸”的问题。一个语言的词汇量是巨大的，如果每个词都作为一个独立的词元，词表会变得难以管理。更糟糕的是，模型将无法处理任何未在词表中出现过的词，例如 “DatawhaleAgent”。
+- <strong>按字符分词 (Character-based)</strong> ：将文本切分成单个字符。这种方法词表很小（例如英文字母、数字和标点），不存在 OOV 问题。但它的缺点是，单个字符大多不具备独立的语义，模型需要花费更多的精力去学习如何将字符组合成有意义的词，导致学习效率低下。
 
-为了兼顾词表大小和语义表达，现代大语言模型普遍采用**子词分词 (Subword Tokenization)** 算法。它的核心思想是：将常见的词（如 "agent"）保留为完整的词元，同时将不常见的词（如 "Tokenization"）拆分成多个有意义的子词片段（如 "Token" 和 "ization"）。这样既控制了词表的大小，又能让模型通过组合子词来理解和生成新词。
+为了兼顾词表大小和语义表达，现代大语言模型普遍采用<strong>子词分词 (Subword Tokenization)</strong> 算法。它的核心思想是：将常见的词（如 "agent"）保留为完整的词元，同时将不常见的词（如 "Tokenization"）拆分成多个有意义的子词片段（如 "Token" 和 "ization"）。这样既控制了词表的大小，又能让模型通过组合子词来理解和生成新词。
 
-**3.2.2.2 字节对编码算法解析**
+<strong>3.2.2.2 字节对编码算法解析</strong>
 
 字节对编码 (Byte-Pair Encoding, BPE) 是最主流的子词分词算法之一^[6]^，GPT系列模型就采用了这种算法。其核心思想非常简洁，可以理解为一个“贪心”的合并过程：
 
-1. **初始化**：将词表初始化为所有在语料库中出现过的基本字符。
-2. **迭代合并**：在语料库上，统计所有相邻词元对的出现频率，找到频率最高的一对，将它们合并成一个新的词元，并加入词表。
-3. **重复**：重复第 2 步，直到词表大小达到预设的阈值。
+1. <strong>初始化</strong>：将词表初始化为所有在语料库中出现过的基本字符。
+2. <strong>迭代合并</strong>：在语料库上，统计所有相邻词元对的出现频率，找到频率最高的一对，将它们合并成一个新的词元，并加入词表。
+3. <strong>重复</strong>：重复第 2 步，直到词表大小达到预设的阈值。
 
-**案例演示：** 假设我们的迷你语料库是 `{"hug": 1, "pug": 1, "pun": 1, "bun": 1}`，并且我们想构建一个大小为 10 的词表。BPE 的训练过程可以用下表3.1来表示：
+<strong>案例演示：</strong> 假设我们的迷你语料库是 `{"hug": 1, "pug": 1, "pun": 1, "bun": 1}`，并且我们想构建一个大小为 10 的词表。BPE 的训练过程可以用下表3.1来表示：
 
 <div align="center">
   <p>表 3.1  BPE 算法合并过程示例</p>
@@ -719,24 +719,24 @@ for i in range(num_merges):
 
 后续的许多算法都是在BPE的基础上进行优化的。其中，Google 开发的 WordPiece 和 SentencePiece 是影响力最大的两种。
 
-- **WordPiece**: Google BERT 模型采用的算法^[7]^。它与 BPE 非常相似，但合并词元的标准不是“最高频率”，而是“能最大化提升语料库的语言模型概率”。简单来说，它会优先合并那些能让整个语料库的“通顺度”提升最大的词元对。
-- **SentencePiece**: Google 开源的一款分词工具^[8]^，Llama 系列模型采用了此算法。它最大的特点是，将空格也视作一个普通字符（通常用下划线 `_` 表示）。这使得分词和解码过程完全可逆，且不依赖于特定的语言（例如，它不需要知道中文不使用空格分词）。
+- <strong>WordPiece</strong>: Google BERT 模型采用的算法^[7]^。它与 BPE 非常相似，但合并词元的标准不是“最高频率”，而是“能最大化提升语料库的语言模型概率”。简单来说，它会优先合并那些能让整个语料库的“通顺度”提升最大的词元对。
+- <strong>SentencePiece</strong>: Google 开源的一款分词工具^[8]^，Llama 系列模型采用了此算法。它最大的特点是，将空格也视作一个普通字符（通常用下划线 `_` 表示）。这使得分词和解码过程完全可逆，且不依赖于特定的语言（例如，它不需要知道中文不使用空格分词）。
 
-**3.2.2.3 分词器对开发者的意义**
+<strong>3.2.2.3 分词器对开发者的意义</strong>
 
 理解分词算法的细节并非目的，但作为智能体的开发者，理解分词器的实际影响是重要，这直接关系到智能体的性能、成本和稳定性：
 
-- **上下文窗口限制**：模型的上下文窗口（如 8K, 128K）是以 **Token 数量**计算的，而不是字符数或单词数。同样一段话，在不同语言（如中英文）或不同分词器下，Token 数量可能相差巨大。精确管理输入长度、避免超出上下文限制是构建长时记忆智能体的基础。
-- **API 成本**：大多数模型 API 都是按 Token 数量计费的。了解你的文本会被如何分词，是预估和控制智能体运行成本的关键一步。
-- **模型表现的异常**：有时模型的奇怪表现根源在于分词。例如，模型可能很擅长计算 `2 + 2`，但对于 `2+2`（没有空格）就可能出错，因为后者可能被分词器视为一个独立的、不常见的词元。同样，一个词因为首字母大小写不同，也可能被切分成完全不同的 Token 序列，从而影响模型的理解。在设计提示词和解析模型输出时，考虑到这些“陷阱”有助于提升智能体的鲁棒性。
+- <strong>上下文窗口限制</strong>：模型的上下文窗口（如 8K, 128K）是以 <strong>Token 数量</strong>计算的，而不是字符数或单词数。同样一段话，在不同语言（如中英文）或不同分词器下，Token 数量可能相差巨大。精确管理输入长度、避免超出上下文限制是构建长时记忆智能体的基础。
+- <strong>API 成本</strong>：大多数模型 API 都是按 Token 数量计费的。了解你的文本会被如何分词，是预估和控制智能体运行成本的关键一步。
+- <strong>模型表现的异常</strong>：有时模型的奇怪表现根源在于分词。例如，模型可能很擅长计算 `2 + 2`，但对于 `2+2`（没有空格）就可能出错，因为后者可能被分词器视为一个独立的、不常见的词元。同样，一个词因为首字母大小写不同，也可能被切分成完全不同的 Token 序列，从而影响模型的理解。在设计提示词和解析模型输出时，考虑到这些“陷阱”有助于提升智能体的鲁棒性。
 
 ### 3.2.3 调用开源大语言模型
 
 在本书的第一章，我们通过 API 来与大语言模型进行交互，以此驱动我们的智能体。这是一种快速、便捷的方式，但并非唯一的方式。对于许多需要处理敏感数据、希望离线运行或想精细控制成本的场景，将大语言模型直接部署在本地就显得至关重要。
 
-**Hugging Face Transformers** 是一个强大的开源库，它提供了标准化的接口来加载和使用数以万计的预训练模型。我们将使用它来完成本次实践。
+<strong>Hugging Face Transformers</strong> 是一个强大的开源库，它提供了标准化的接口来加载和使用数以万计的预训练模型。我们将使用它来完成本次实践。
 
-**配置环境与选择模型**：为了让大多数读者都能在个人电脑上顺利运行，我们特意选择了一个小规模但功能强大的模型：`Qwen/Qwen1.5-0.5B-Chat`。这是一个由阿里巴巴达摩院开源的拥有约 5 亿参数的对话模型，它体积小、性能优异，非常适合入门学习和本地部署。
+<strong>配置环境与选择模型</strong>：为了让大多数读者都能在个人电脑上顺利运行，我们特意选择了一个小规模但功能强大的模型：`Qwen/Qwen1.5-0.5B-Chat`。这是一个由阿里巴巴达摩院开源的拥有约 5 亿参数的对话模型，它体积小、性能优异，非常适合入门学习和本地部署。
 
 首先，请确保你已经安装了必要的库：
 
@@ -832,59 +832,59 @@ print(response)
 
 由于大语言模型技术正处于高速发展阶段，新模型、新版本层出不穷，迭代速度极快。本节在撰写时力求提供当前主流模型的概览和选型考量，但请读者注意，文中所提及的具体模型版本和性能数据可能随时间推移而发生变化，且只列举了部分工作并不完整。我们更侧重于介绍其核心技术特点、发展趋势以及在智能体开发中的通用选型原则。
 
-**3.2.4.1 模型选型的关键考量**
+<strong>3.2.4.1 模型选型的关键考量</strong>
 
 在为您的智能体选择大语言模型时，可以从以下几个维度进行综合评估：
 
-- **性能与能力**：这是最核心的考量。不同的模型擅长的任务不同，有的长于逻辑推理和代码生成，有的则在创意写作或多语言翻译上更胜一筹。您可以参考一些公开的基准测试排行榜（如 LMSys Chatbot Arena Leaderboard）来评估模型的综合能力。
-- **成本**：对于闭源模型，成本主要体现在 API 调用费用，通常按 Token 数量计费。对于开源模型，成本则体现在本地部署所需的硬件（GPU、内存）和运维上。需要根据应用的预期使用量和预算做出选择。
-- **速度（延迟）**：对于需要实时交互的智能体（如客服、游戏 NPC），模型的响应速度至关重要。一些轻量级或经过优化的模型（如 GPT-3.5 Turbo, Claude 3.5 Sonnet）在延迟上表现更优。
-- **上下文窗口**：模型能一次性处理的 Token 数量上限。对于需要理解长文档、分析代码库或维持长期对话记忆的智能体，选择一个拥有较大上下文窗口（如 128K Token 或更高）的模型是必要的。
-- **部署方式**：使用 API 的方式最简单便捷，但数据需要发送给第三方，且受限于服务商的条款。本地部署则能确保数据隐私和最高程度的自主可控，但对技术和硬件要求更高。
-- **生态与工具链**：一个模型的流行程度也决定了其周边生态的成熟度。主流模型通常拥有更丰富的社区支持、教程、预训练模型、微调工具和兼容的开发框架（如 LangChain, LlamaIndex, Hugging Face Transformers），这能极大地加速开发进程，降低开发难度。选择一个拥有活跃社区和完善工具链的模型，可以在遇到问题时更容易找到解决方案和资源。
-- **可微调性与定制化**：对于需要处理特定领域数据或执行特定任务的智能体，模型的微调能力至关重要。一些模型提供了便捷的微调接口和工具，允许开发者使用自己的数据集对模型进行定制化训练，从而显著提升模型在特定场景下的性能和准确性。开源模型在这方面通常提供更大的灵活性。
-- **安全性与伦理**：随着大语言模型的广泛应用，其潜在的安全风险和伦理问题也日益凸显。选择模型时，需要考虑其在偏见、毒性、幻觉等方面的表现，以及服务商或开源社区在模型安全和负责任AI方面的投入。对于面向公众或涉及敏感信息的应用，模型的安全性和伦理合规性是不可忽视的考量。
+- <strong>性能与能力</strong>：这是最核心的考量。不同的模型擅长的任务不同，有的长于逻辑推理和代码生成，有的则在创意写作或多语言翻译上更胜一筹。您可以参考一些公开的基准测试排行榜（如 LMSys Chatbot Arena Leaderboard）来评估模型的综合能力。
+- <strong>成本</strong>：对于闭源模型，成本主要体现在 API 调用费用，通常按 Token 数量计费。对于开源模型，成本则体现在本地部署所需的硬件（GPU、内存）和运维上。需要根据应用的预期使用量和预算做出选择。
+- <strong>速度（延迟）</strong>：对于需要实时交互的智能体（如客服、游戏 NPC），模型的响应速度至关重要。一些轻量级或经过优化的模型（如 GPT-3.5 Turbo, Claude 3.5 Sonnet）在延迟上表现更优。
+- <strong>上下文窗口</strong>：模型能一次性处理的 Token 数量上限。对于需要理解长文档、分析代码库或维持长期对话记忆的智能体，选择一个拥有较大上下文窗口（如 128K Token 或更高）的模型是必要的。
+- <strong>部署方式</strong>：使用 API 的方式最简单便捷，但数据需要发送给第三方，且受限于服务商的条款。本地部署则能确保数据隐私和最高程度的自主可控，但对技术和硬件要求更高。
+- <strong>生态与工具链</strong>：一个模型的流行程度也决定了其周边生态的成熟度。主流模型通常拥有更丰富的社区支持、教程、预训练模型、微调工具和兼容的开发框架（如 LangChain, LlamaIndex, Hugging Face Transformers），这能极大地加速开发进程，降低开发难度。选择一个拥有活跃社区和完善工具链的模型，可以在遇到问题时更容易找到解决方案和资源。
+- <strong>可微调性与定制化</strong>：对于需要处理特定领域数据或执行特定任务的智能体，模型的微调能力至关重要。一些模型提供了便捷的微调接口和工具，允许开发者使用自己的数据集对模型进行定制化训练，从而显著提升模型在特定场景下的性能和准确性。开源模型在这方面通常提供更大的灵活性。
+- <strong>安全性与伦理</strong>：随着大语言模型的广泛应用，其潜在的安全风险和伦理问题也日益凸显。选择模型时，需要考虑其在偏见、毒性、幻觉等方面的表现，以及服务商或开源社区在模型安全和负责任AI方面的投入。对于面向公众或涉及敏感信息的应用，模型的安全性和伦理合规性是不可忽视的考量。
 
-**3.2.4.2 闭源模型概览**
+<strong>3.2.4.2 闭源模型概览</strong>
 
 闭源模型通常代表了当前 AI 技术的最前沿，并提供稳定、易用的 API 服务，是构建高性能智能体的首选。
 
-1. **OpenAI GPT 系列**：从开启大模型时代的 GPT-3，到引入 RLHF（人类反馈强化学习）、实现与人类意图对齐的 ChatGPT，再到开启多模态时代的 GPT-4，OpenAI 持续引领行业发展。最新的 GPT-5 更是将多模态能力和通用智能水平提升到新的高度，能够无缝处理文本、音频和图像输入，并生成相应的输出，其响应速度和自然度也大幅提升，尤其在实时语音对话方面表现出色。
-2. **Google Gemini 系列**：Google DeepMind 推出的 Gemini 系列模型是原生多模态的代表，其核心特点是能统一处理文本、代码、音视频和图像等多种模态的数据，并以其超长的上下文窗口在海量信息处理上具备优势。Gemini Ultra 是其最强大的模型，适用于高度复杂的任务；Gemini Pro 适用于广泛的任务，提供高性能和效率；Gemini Nano 则针对设备端部署进行了优化。最新的 Gemini 2.5 系列模型，如 Gemini 2.5 Pro 和 Gemini 2.5 Flash，进一步提升了推理能力和上下文窗口，特别是 Gemini 2.5 Flash 以其更快的推理速度和成本效益，适用于需要快速响应的场景。
-3. **Anthropic Claude 系列**：Anthropic 是一家专注于 AI 安全和负责任 AI 的公司，其 Claude 系列模型从设计之初就将 AI 安全放在首位，以其在处理长文档、减少有害输出、遵循指令方面的可靠性而闻名，深受企业级应用青睐。Claude 3 系列包括 Claude 3 Opus（最智能、性能最强）、Claude 3 Sonnet（性能与速度兼顾的平衡之选）和 Claude 3 Haiku（最快、最紧凑的模型，适用于近乎实时的交互）。最新的 Claude 4 系列模型，如 Claude 4 Opus，在通用智能、复杂推理和代码生成方面取得了显著进展，进一步提升了处理长上下文和多模态任务的能力。
-4. **国内主流模型**：中国在大语言模型领域涌现出众多具有竞争力的闭源模型，以百度文心一言(ERNIE Bot)、腾讯混元(Hunyuan)、华为盘古(Pangu-α)、科大讯飞星火(SparkDesk)和月之暗面(Moonshot AI)等为代表的国产模型，在中文处理上具备天然优势，并深度赋能本土产业。
+1. <strong>OpenAI GPT 系列</strong>：从开启大模型时代的 GPT-3，到引入 RLHF（人类反馈强化学习）、实现与人类意图对齐的 ChatGPT，再到开启多模态时代的 GPT-4，OpenAI 持续引领行业发展。最新的 GPT-5 更是将多模态能力和通用智能水平提升到新的高度，能够无缝处理文本、音频和图像输入，并生成相应的输出，其响应速度和自然度也大幅提升，尤其在实时语音对话方面表现出色。
+2. <strong>Google Gemini 系列</strong>：Google DeepMind 推出的 Gemini 系列模型是原生多模态的代表，其核心特点是能统一处理文本、代码、音视频和图像等多种模态的数据，并以其超长的上下文窗口在海量信息处理上具备优势。Gemini Ultra 是其最强大的模型，适用于高度复杂的任务；Gemini Pro 适用于广泛的任务，提供高性能和效率；Gemini Nano 则针对设备端部署进行了优化。最新的 Gemini 2.5 系列模型，如 Gemini 2.5 Pro 和 Gemini 2.5 Flash，进一步提升了推理能力和上下文窗口，特别是 Gemini 2.5 Flash 以其更快的推理速度和成本效益，适用于需要快速响应的场景。
+3. <strong>Anthropic Claude 系列</strong>：Anthropic 是一家专注于 AI 安全和负责任 AI 的公司，其 Claude 系列模型从设计之初就将 AI 安全放在首位，以其在处理长文档、减少有害输出、遵循指令方面的可靠性而闻名，深受企业级应用青睐。Claude 3 系列包括 Claude 3 Opus（最智能、性能最强）、Claude 3 Sonnet（性能与速度兼顾的平衡之选）和 Claude 3 Haiku（最快、最紧凑的模型，适用于近乎实时的交互）。最新的 Claude 4 系列模型，如 Claude 4 Opus，在通用智能、复杂推理和代码生成方面取得了显著进展，进一步提升了处理长上下文和多模态任务的能力。
+4. <strong>国内主流模型</strong>：中国在大语言模型领域涌现出众多具有竞争力的闭源模型，以百度文心一言(ERNIE Bot)、腾讯混元(Hunyuan)、华为盘古(Pangu-α)、科大讯飞星火(SparkDesk)和月之暗面(Moonshot AI)等为代表的国产模型，在中文处理上具备天然优势，并深度赋能本土产业。
 
-**3.2.4.3 开源模型概览**
+<strong>3.2.4.3 开源模型概览</strong>
 
 开源模型为开发者提供了最高程度的灵活性、透明度和自主性，催生了繁荣的社区生态。它们允许开发者在本地部署、进行定制化微调，并拥有完整的模型控制权。
 
-- **Meta Llama 系列**：Meta 推出的 Llama 系列是开源大语言模型的重要里程碑。该系列凭借出色的综合性能、开放的许可协议和强大的社区支持，成为许多衍生项目和研究的基座。Llama 4 系列于2025年4月发布，是Meta首批采用混合专家（MoE）架构的模型，该架构通过仅激活处理特定任务所需的模型部分来显著提升计算效率。该系列包含三款定位分明的模型：LLama 4 Scout支持1000万token的上下文窗口专为长文档分析和移动端部署设计。Llama 4 Maverick专注于多模态能力，在编码、复杂推理及多语言支持方面表现卓越。Llama 4 Behemoth多项STEM基准测试中表现超越竞争对手。是Meta目前最强大的模型
-- **Mistral AI 系列**：来自法国的 Mistral AI 以其“小尺寸、高性能”的模型设计而闻名。其最新模型 Mistral Medium 3.1 于2025年8月发布，在代码生成、STEM推理和跨领域问答等任务上准确率与响应速度均有显著提升，基准测试表现优于Claude Sonnet 3.7与Llama 4 Maverick等同级模型。它具备原生多模态能力，可同时处理图像与文字混合输入，并内置“语调适配层”，帮助企业更轻松实现符合品牌调性的输出。
-- **国内开源力量**：国内厂商和科研机构也在积极拥抱开源，例如阿里巴巴的**通义千问 (Qwen)** 系列和清华大学与智谱 AI 合作的 **ChatGLM** 系列，它们提供了强大的中文能力，并围绕自身构建了活跃的社区。
+- <strong>Meta Llama 系列</strong>：Meta 推出的 Llama 系列是开源大语言模型的重要里程碑。该系列凭借出色的综合性能、开放的许可协议和强大的社区支持，成为许多衍生项目和研究的基座。Llama 4 系列于2025年4月发布，是Meta首批采用混合专家（MoE）架构的模型，该架构通过仅激活处理特定任务所需的模型部分来显著提升计算效率。该系列包含三款定位分明的模型：LLama 4 Scout支持1000万token的上下文窗口专为长文档分析和移动端部署设计。Llama 4 Maverick专注于多模态能力，在编码、复杂推理及多语言支持方面表现卓越。Llama 4 Behemoth多项STEM基准测试中表现超越竞争对手。是Meta目前最强大的模型
+- <strong>Mistral AI 系列</strong>：来自法国的 Mistral AI 以其“小尺寸、高性能”的模型设计而闻名。其最新模型 Mistral Medium 3.1 于2025年8月发布，在代码生成、STEM推理和跨领域问答等任务上准确率与响应速度均有显著提升，基准测试表现优于Claude Sonnet 3.7与Llama 4 Maverick等同级模型。它具备原生多模态能力，可同时处理图像与文字混合输入，并内置“语调适配层”，帮助企业更轻松实现符合品牌调性的输出。
+- <strong>国内开源力量</strong>：国内厂商和科研机构也在积极拥抱开源，例如阿里巴巴的<strong>通义千问 (Qwen)</strong> 系列和清华大学与智谱 AI 合作的 <strong>ChatGLM</strong> 系列，它们提供了强大的中文能力，并围绕自身构建了活跃的社区。
 
 对于智能体开发者而言，闭源模型提供了“开箱即用”的便捷，而开源模型则赋予了我们“随心所欲”的定制自由。理解这两大阵营的特点和代表模型，是为我们的智能体项目做出明智技术选型的第一步。
 
 ## 3.3 大语言模型的缩放法则与局限性
 
-大语言模型（LLMs）在近年来取得了令人瞩目的进展，其能力边界不断拓展，应用场景日益丰富。然而，这些成就的背后，离不开对模型规模、数据量和计算资源之间关系的深刻理解，即**缩放法则（Scaling Laws）**。同时，作为新兴技术，LLMs也面临着诸多挑战和局限性。本节将深入探讨这些核心概念，旨在帮助读者全面理解LLMs的能力边界，从而在构建智能体时扬长避短。
+大语言模型（LLMs）在近年来取得了令人瞩目的进展，其能力边界不断拓展，应用场景日益丰富。然而，这些成就的背后，离不开对模型规模、数据量和计算资源之间关系的深刻理解，即<strong>缩放法则（Scaling Laws）</strong>。同时，作为新兴技术，LLMs也面临着诸多挑战和局限性。本节将深入探讨这些核心概念，旨在帮助读者全面理解LLMs的能力边界，从而在构建智能体时扬长避短。
 
 ### 3.3.1 缩放法则
 
-**缩放法则（Scaling Laws）**是近年来大语言模型领域最重要的发现之一。它揭示了模型性能与模型参数量、训练数据量以及计算资源之间存在着可预测的幂律关系。这一发现为大语言模型的持续发展提供了理论指导，阐明了增加资源投入能够系统性提升模型性能的底层逻辑。
+<strong>缩放法则（Scaling Laws）</strong>是近年来大语言模型领域最重要的发现之一。它揭示了模型性能与模型参数量、训练数据量以及计算资源之间存在着可预测的幂律关系。这一发现为大语言模型的持续发展提供了理论指导，阐明了增加资源投入能够系统性提升模型性能的底层逻辑。
 
 研究发现，在对数-对数坐标系下，模型的性能（通常用损失 Loss 来衡量）与参数量、数据量和计算量这三个因素都呈现出平滑的幂律关系^[9]^。简单来说，只要我们持续、按比例地增加这三个要素，模型的性能就会可预测地、平滑地提升，而不会出现明显的瓶颈。这一发现为大模型的设计和训练提供了清晰的指导：在资源允许的范围内，尽可能地扩大模型规模和训练数据量。
 
-早期的研究更侧重于增加模型参数量，但 DeepMind 在 2022 年提出的“Chinchilla 定律”对此进行了重要修正^[10]^。该定律指出，在给定的计算预算下，为了达到最优性能，**模型参数量和训练数据量之间存在一个最优配比**。具体来说，最优的模型应该比之前普遍认为的要小，但需要用多得多的数据进行训练。例如，一个 700 亿参数的 Chinchilla 模型，由于使用了比 GPT-3（1750 亿参数）多 4 倍的数据进行训练，其性能反而超越了后者。这一发现纠正了“越大越好”的片面认知，强调了数据效率的重要性，并指导了后续许多高效大模型（如 Llama 系列）的设计。
+早期的研究更侧重于增加模型参数量，但 DeepMind 在 2022 年提出的“Chinchilla 定律”对此进行了重要修正^[10]^。该定律指出，在给定的计算预算下，为了达到最优性能，<strong>模型参数量和训练数据量之间存在一个最优配比</strong>。具体来说，最优的模型应该比之前普遍认为的要小，但需要用多得多的数据进行训练。例如，一个 700 亿参数的 Chinchilla 模型，由于使用了比 GPT-3（1750 亿参数）多 4 倍的数据进行训练，其性能反而超越了后者。这一发现纠正了“越大越好”的片面认知，强调了数据效率的重要性，并指导了后续许多高效大模型（如 Llama 系列）的设计。
 
-缩放法则最令人惊奇的产物是“能力的涌现”。所谓能力涌现，是指当模型规模达到一定阈值后，会突然展现出在小规模模型中完全不存在或表现不佳的全新能力。例如，**链式思考 (Chain-of-Thought)** 、**指令遵循 (Instruction Following)** 、多步推理、代码生成等能力，都是在模型参数量达到数百亿甚至千亿级别后才显著出现的。这种现象表明，大语言模型不仅仅是简单地记忆和复述，它们在学习过程中可能形成了某种更深层次的抽象和推理能力。对于智能体开发者而言，能力的涌现意味着选择一个足够大规模的模型，是实现复杂自主决策和规划能力的前提。
+缩放法则最令人惊奇的产物是“能力的涌现”。所谓能力涌现，是指当模型规模达到一定阈值后，会突然展现出在小规模模型中完全不存在或表现不佳的全新能力。例如，<strong>链式思考 (Chain-of-Thought)</strong> 、<strong>指令遵循 (Instruction Following)</strong> 、多步推理、代码生成等能力，都是在模型参数量达到数百亿甚至千亿级别后才显著出现的。这种现象表明，大语言模型不仅仅是简单地记忆和复述，它们在学习过程中可能形成了某种更深层次的抽象和推理能力。对于智能体开发者而言，能力的涌现意味着选择一个足够大规模的模型，是实现复杂自主决策和规划能力的前提。
 
 ### 3.3.2 模型幻觉
 
-**模型幻觉（Hallucination）**通常指的是大语言模型生成的内容与客观事实、用户输入或上下文信息相矛盾，或者生成了不存在的事实、实体或事件。幻觉的本质是模型在生成过程中，过度自信地“编造”了信息，而非准确地检索或推理。根据其表现形式，幻觉可以被分为多种类型^[11]^，例如：
+<strong>模型幻觉（Hallucination）</strong>通常指的是大语言模型生成的内容与客观事实、用户输入或上下文信息相矛盾，或者生成了不存在的事实、实体或事件。幻觉的本质是模型在生成过程中，过度自信地“编造”了信息，而非准确地检索或推理。根据其表现形式，幻觉可以被分为多种类型^[11]^，例如：
 
-- **事实性幻觉 (Factual Hallucinations)** ： 模型生成与现实世界事实不符的信息。
-- **忠实性幻觉 (Faithfulness Hallucinations)** ： 在文本摘要、翻译等任务中，生成的内容未能忠实地反映源文本的含义。
-- **内在幻觉 (Intrinsic Hallucinations)** ： 模型生成的内容与输入信息直接矛盾。
+- <strong>事实性幻觉 (Factual Hallucinations)</strong> ： 模型生成与现实世界事实不符的信息。
+- <strong>忠实性幻觉 (Faithfulness Hallucinations)</strong> ： 在文本摘要、翻译等任务中，生成的内容未能忠实地反映源文本的含义。
+- <strong>内在幻觉 (Intrinsic Hallucinations)</strong> ： 模型生成的内容与输入信息直接矛盾。
 
 幻觉的产生是多方面因素共同作用的结果。首先，训练数据中可能包含错误或矛盾的信息。其次，模型的自回归生成机制决定了它只是在预测下一个最可能的词元，而没有内置的事实核查模块。最后，在面对需要复杂推理的任务时，模型可能会在逻辑链条中出错，从而“编造”出错误的结论。例如：一个旅游规划 Agent，可能会为你推荐一个现实中不存在的景点，或者预订一个航班号错误的机票。
 
@@ -892,12 +892,12 @@ print(response)
 
 为了提高大语言模型的可靠性，研究人员和开发者正在积极探索多种检测和缓解幻觉的方法：
 
-1. **数据层面**： 通过高质量数据清洗、引入事实性知识以及强化学习与人类反馈 (RLHF) 等方式^[13]^，从源头减少幻觉。
-2. **模型层面**： 探索新的模型架构，或让模型能够表达其对生成内容的不确定性。
-3. **推理与生成层面**：
-   1. **检索增强生成 (Retrieval-Augmented Generation, RAG)** ^[14]^： 这是目前缓解幻觉的有效方法之一。RAG 系统通过在生成之前从外部知识库（如文档数据库、网页）中检索相关信息，然后将检索到的信息作为上下文，引导模型生成基于事实的回答。
-   2. **多步推理与验证**： 引导模型进行多步推理，并在每一步进行自我检查或外部验证。
-   3. **引入外部工具**： 允许模型调用外部工具（如搜索引擎、计算器、代码解释器）来获取实时信息或进行精确计算。
+1. <strong>数据层面</strong>： 通过高质量数据清洗、引入事实性知识以及强化学习与人类反馈 (RLHF) 等方式^[13]^，从源头减少幻觉。
+2. <strong>模型层面</strong>： 探索新的模型架构，或让模型能够表达其对生成内容的不确定性。
+3. <strong>推理与生成层面</strong>：
+   1. <strong>检索增强生成 (Retrieval-Augmented Generation, RAG)</strong> ^[14]^： 这是目前缓解幻觉的有效方法之一。RAG 系统通过在生成之前从外部知识库（如文档数据库、网页）中检索相关信息，然后将检索到的信息作为上下文，引导模型生成基于事实的回答。
+   2. <strong>多步推理与验证</strong>： 引导模型进行多步推理，并在每一步进行自我检查或外部验证。
+   3. <strong>引入外部工具</strong>： 允许模型调用外部工具（如搜索引擎、计算器、代码解释器）来获取实时信息或进行精确计算。
 
 尽管幻觉问题短期内难以完全消除，但通过上述的策略，可以显著降低其发生频率和影响，提高大语言模型在实际应用中的可靠性和实用性。
 
@@ -905,14 +905,14 @@ print(response)
 
 本章介绍了构建智能体所需的基础知识，重点围绕作为其核心组件的大语言模型 (LLM) 展开。内容从语言模型的早期发展开始，详细讲解了 Transformer 架构，并介绍了与 LLM 进行交互的方法。最后，本章对当前主流的模型生态、发展规律及其固有局限性进行了梳理。
 
-**核心知识点回顾：**
+<strong>核心知识点回顾：</strong>
 
-- **模型演进与核心架构**：本章追溯了从统计语言模型 (N-gram) 到神经网络模型 (RNN, LSTM)，再到奠定现代 LLM 基础的 Transformer 架构。通过“自顶向下”的代码实现，本章拆解了 Transformer 的核心组件，并阐述了自注意力机制在并行计算和捕捉长距离依赖中的关键作用。
-- **与模型的交互方式**：本章介绍了与 LLM 交互的两个核心环节：提示工程 (Prompt Engineering) 和文本分词 (Tokenization)。前者用于指导模型的行为，后者是理解模型输入处理的基础。通过本地部署并运行开源模型的实践，将理论知识应用于实际操作。
-- **模型生态与选型**：本章系统地梳理了为智能体选择模型时需要权衡的关键因素，并概览了以 OpenAI GPT、Google Gemini 为代表的闭源模型和以 Llama、Mistral 为代表的开源模型的特点与定位。
-- **法则与局限**：本章探讨了驱动 LLM 能力提升的缩放法则，阐述了其背后的基本原理。同时，本章也分析了模型存在的如事实幻觉、知识过时等固有局限性，这对于构建可靠、鲁棒的智能体至关重要。
+- <strong>模型演进与核心架构</strong>：本章追溯了从统计语言模型 (N-gram) 到神经网络模型 (RNN, LSTM)，再到奠定现代 LLM 基础的 Transformer 架构。通过“自顶向下”的代码实现，本章拆解了 Transformer 的核心组件，并阐述了自注意力机制在并行计算和捕捉长距离依赖中的关键作用。
+- <strong>与模型的交互方式</strong>：本章介绍了与 LLM 交互的两个核心环节：提示工程 (Prompt Engineering) 和文本分词 (Tokenization)。前者用于指导模型的行为，后者是理解模型输入处理的基础。通过本地部署并运行开源模型的实践，将理论知识应用于实际操作。
+- <strong>模型生态与选型</strong>：本章系统地梳理了为智能体选择模型时需要权衡的关键因素，并概览了以 OpenAI GPT、Google Gemini 为代表的闭源模型和以 Llama、Mistral 为代表的开源模型的特点与定位。
+- <strong>法则与局限</strong>：本章探讨了驱动 LLM 能力提升的缩放法则，阐述了其背后的基本原理。同时，本章也分析了模型存在的如事实幻觉、知识过时等固有局限性，这对于构建可靠、鲁棒的智能体至关重要。
 
-**从 LLM 基础到构建智能体：**
+<strong>从 LLM 基础到构建智能体：</strong>
 
 这一章的LLM基础主要是为了帮助大家更好的理解大模型的诞生以及发展过程，其中也蕴含了智能体设计的部分思考。例如，如何设计有效的提示词来引导 Agent 的规划与决策，如何根据任务需求选择合适的模型，以及如何在 Agent 的工作流中加入验证机制以规避模型的幻觉等问题，其解决方案均建立在本章的基础之上。我们现在已经准备好从理论转向实践。在下一章，我们将开始探索智能体经典范式构建，将本章所学的知识应用于实际的智能体设计之中。