update chapter2

docs/chapter2/第二章 智能体发展史.md

@@ -10,7 +10,7 @@
 
 ### 2.1.1 物理符号系统假说
 
-符号主义时代的理论根据，是1976年由**艾伦·纽厄尔（Allen Newell）**和**赫伯特·西蒙（Herbert A. Simon）**共同提出的**物理符号系统假说（PhysicalSymbol SystemHypothesis, PSSH）**[1]。这两位图灵奖得主通过这一假说，为在计算机上实现通用人工智能提供了理论指导和判定标准。
+符号主义时代的理论根据，是1976年由**艾伦·纽厄尔（Allen Newell）**和**赫伯特·西蒙（Herbert A. Simon）**共同提出的**物理符号系统假说（PhysicalSymbol SystemHypothesis, PSSH）**^[1]^。这两位图灵奖得主通过这一假说，为在计算机上实现通用人工智能提供了理论指导和判定标准。
 
 该假说包含两个核心论断：
 
@@ -53,7 +53,7 @@
 
 **应用案例与分析：MYCIN系统**
 
-MYCIN是历史上最著名、最具影响力的专家系统之一，由斯坦福大学于20世纪70年代开发[2]。它被设计用于辅助医生诊断细菌性血液感染并推荐合适的抗生素治疗方案。
+MYCIN是历史上最著名、最具影响力的专家系统之一，由斯坦福大学于20世纪70年代开发^[2]^。它被设计用于辅助医生诊断细菌性血液感染并推荐合适的抗生素治疗方案。
 
 - **工作原理**：MYCIN通过与医生进行问答式交互来收集病人的症状、病史和化验结果。其知识库包含了约600条由医学专家提供的“IF-THEN”规则。推理机主要采用反向链的方式工作：从“确定致病菌”这一最高目标出发，反向推导需要哪些证据和条件，然后向医生提问以获取这些信息。其简化的工作流程如图2.3所示。
 
@@ -67,7 +67,7 @@ MYCIN是历史上最著名、最具影响力的专家系统之一，由斯坦福
 
 ### 2.1.3 SHRDLU
 
-如果说专家系统展示了符号AI在专业领域的“深度”，那么由**特里·威诺格拉德（Terry Winograd）**于1968-1970年开发的SHRDLU项目[3]，则在“广度”上实现了革命性的突破。SHRDLU旨在构建一个能在“积木世界”这一微观环境中，通过自然语言与人类流畅交互的综合性智能体。“积木世界”是一个模拟的三维虚拟空间，其中包含不同形状、颜色和大小的积木，以及一个可以抓取和移动它们的虚拟机械臂。用户通过自然语言向SHRDLU下达指令或提问，SHRDLU则在虚拟世界中执行动作或给出文字回答。
+如果说专家系统展示了符号AI在专业领域的“深度”，那么由**特里·威诺格拉德（Terry Winograd）**于1968-1970年开发的SHRDLU项目^[3]^，则在“广度”上实现了革命性的突破。SHRDLU旨在构建一个能在“积木世界”这一微观环境中，通过自然语言与人类流畅交互的综合性智能体。“积木世界”是一个模拟的三维虚拟空间，其中包含不同形状、颜色和大小的积木，以及一个可以抓取和移动它们的虚拟机械臂。用户通过自然语言向SHRDLU下达指令或提问，SHRDLU则在虚拟世界中执行动作或给出文字回答。
 
 <div align="center">
   <img src="https://raw.githubusercontent.com/datawhalechina/Hello-Agents/main/docs/images/2-figures/1757246501849-3.png" alt="图片描述" width="90%"/>
@@ -100,13 +100,13 @@ SHRDLU的历史地位与影响主要体现在三个方面：
 符号主义智能体的“智能”完全依赖于其知识库的质量和完备性。然而，如何构建一个能够支撑真实世界交互的知识库，被证明是一项极其艰巨的任务，主要体现在两个方面：
 
 - **知识获取瓶颈（Knowledge Acquisition Bottleneck）**：专家系统的知识需要由人类专家和知识工程师通过繁琐的访谈、提炼和编码过程来构建。这个过程成本高昂、耗时漫长，且难以规模化。更重要的是，人类专家的许多知识是内隐的、直觉性的，很难被清晰地表达为“IF-THEN”规则。试图将整个世界的知识都进行手工符号化，被认为是一项几乎不可能完成的任务。
-- **常识问题（Common-sense Problem）**：人类行为依赖于庞大的常识背景（例如，“水是湿的”、“绳子可以拉不能推”），但符号系统除非被明确编码，否则对此一无所知。为广阔、模糊的常识建立完备的知识库至今仍是重大挑战，Cyc项目[4]历经数十年努力，其成果和应用仍然非常有限。
+- **常识问题（Common-sense Problem）**：人类行为依赖于庞大的常识背景（例如，“水是湿的”、“绳子可以拉不能推”），但符号系统除非被明确编码，否则对此一无所知。为广阔、模糊的常识建立完备的知识库至今仍是重大挑战，Cyc项目^[4]^历经数十年努力，其成果和应用仍然非常有限。
 
 **（2）框架问题与系统脆弱性**
 
 除了知识层面的挑战，符号主义在处理动态变化的世界时也遇到了逻辑上的困境。
 
-- **框架问题（Frame Problem）**：在一个动态世界中，智能体执行一个动作后，如何高效判断哪些事物未发生改变是一个逻辑难题[5]。为每个动作显式地声明所有不变的状态，在计算上是不可行的，而人类却能毫不费力地忽略不相关的变化。
+- **框架问题（Frame Problem）**：在一个动态世界中，智能体执行一个动作后，如何高效判断哪些事物未发生改变是一个逻辑难题^[5]^。为每个动作显式地声明所有不变的状态，在计算上是不可行的，而人类却能毫不费力地忽略不相关的变化。
 - **系统脆弱性（Brittleness）**：符号系统完全依赖预设规则，导致其行为非常“脆弱”。一旦遇到规则之外的任何微小变化或新情况，系统便可能完全失灵，无法像人类一样灵活变通。SHRDLU的成功，也正是因为它运行在一个规则完备的封闭世界里，而真实世界充满了例外。
 
 ## 2.2 构建基于规则的聊天机器人
@@ -115,7 +115,7 @@ SHRDLU的历史地位与影响主要体现在三个方面：
 
 ### 2.2.1 ELIZA 的设计思想
 
-ELIZA是由麻省理工学院的计算机科学家**约瑟夫·魏泽鲍姆（Joseph Weizenbaum）**于1966年发布的一个计算机程序[6]，是早期自然语言处理领域的著名尝试之一。ELIZA并非一个单一的程序，而是一个可以执行不同“脚本”的框架。其中，最广为人知也最成功的脚本是“DOCTOR”，它模仿了一位罗杰斯学派的非指导性心理治疗师。
+ELIZA是由麻省理工学院的计算机科学家**约瑟夫·魏泽鲍姆（Joseph Weizenbaum）**于1966年发布的一个计算机程序^[6]^，是早期自然语言处理领域的著名尝试之一。ELIZA并非一个单一的程序，而是一个可以执行不同“脚本”的框架。其中，最广为人知也最成功的脚本是“DOCTOR”，它模仿了一位罗杰斯学派的非指导性心理治疗师。
 
 ELIZA的工作方式极其巧妙：它从不正面回答问题或提供信息，而是通过识别用户输入中的关键词，然后应用一套预设的转换规则，将用户的陈述转化为一个开放式的提问。例如，当用户说“我为我的男朋友感到难过”时，ELIZA可能会识别出关键词“我为……感到难过”，并应用规则生成回应：“你为什么会为你的男朋友感到难过？”
 
@@ -280,7 +280,7 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 ## 2.3 马文·明斯基的心智社会
 
-符号主义的探索和ELIZA的实践，共同指向了一个问题：通过预设规则构建的、单一的、集中的推理引擎，似乎难以通向真正的智能。无论规则库多么庞大，系统在面对真实世界的模糊性、复杂性和无穷变化时，总是显得僵化而脆弱。这一困境促使一些顶尖的思考者开始反思人工智能最底层的设计哲学。其中，**马文·明斯基（Marvin Minsky）**没有继续尝试为单一推理核心添加更多规则，而是在他的**《心智社会》（The Society of Mind）**[7]一书中提出了一个革命性的问题："What magical trick makes us intelligent? The trick is that there is no trick. The power of intelligence stems from our vast diversity, not from any single, perfect principle."
+符号主义的探索和ELIZA的实践，共同指向了一个问题：通过预设规则构建的、单一的、集中的推理引擎，似乎难以通向真正的智能。无论规则库多么庞大，系统在面对真实世界的模糊性、复杂性和无穷变化时，总是显得僵化而脆弱。这一困境促使一些顶尖的思考者开始反思人工智能最底层的设计哲学。其中，**马文·明斯基（Marvin Minsky）**没有继续尝试为单一推理核心添加更多规则，而是在他的**《心智社会》（The Society of Mind）**^[7]^ 一书中提出了一个革命性的问题："What magical trick makes us intelligent? The trick is that there is no trick. The power of intelligence stems from our vast diversity, not from any single, perfect principle."
 
 ### 2.3.1 对单一整体智能模型的反思
 
@@ -342,7 +342,7 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 ### 2.4.1 从符号到联结
 
-作为对符号主义局限性的直接回应，**联结主义（Connectionism）**在20世纪80年代重新兴起。与符号主义自上而下、依赖明确逻辑规则的设计哲学不同，联结主义是一种自下而上的方法，其灵感来源于对生物大脑神经网络结构的模仿[8]。它的核心思想可以概括为以下几点：
+作为对符号主义局限性的直接回应，**联结主义（Connectionism）**在20世纪80年代重新兴起。与符号主义自上而下、依赖明确逻辑规则的设计哲学不同，联结主义是一种自下而上的方法，其灵感来源于对生物大脑神经网络结构的模仿^[8]^。它的核心思想可以概括为以下几点：
 
 1. **知识的分布式表示**：知识并非以明确的符号或规则形式存储在某个知识库中，而是以连接权重的形式，分布式地存储在大量简单的处理单元（即人工神经元）的连接之间。整个网络的连接模式本身就构成了知识。
 2. **简单的处理单元**：每个神经元只执行非常简单的计算，如接收来自其他神经元的加权输入，通过一个激活函数进行处理，然后将结果输出给下一个神经元。
@@ -361,7 +361,7 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 联结主义主要解决了感知问题（例如，“这张图片里有什么？”），但智能体更核心的任务是进行决策（例如，“在这种情况下，我应该做什么？”）。**强化学习（Reinforcement Learning, RL）**正是专注于解决序贯决策问题的学习范式。它并非直接从标注好的静态数据集中学习，而是通过智能体与环境的直接交互，在“试错”中学习如何最大化其长期收益。
 
-以AlphaGo为例，其核心的自我对弈学习过程便是强化学习的经典体现[9]。在这个过程中，AlphaGo（智能体）通过观察棋盘的当前布局（环境状态），决定下一步棋的落子位置（行动）。一局棋结束后，根据胜负结果，它会收到一个明确的信号：赢了就是正向奖励，输了则是负向奖励。通过数百万次这样的自我对弈，AlphaGo不断调整其内部策略，逐渐学会了在何种棋局下选择何种行动，最有可能导向最终的胜利。这个过程完全是自主的，不依赖于人类棋谱的直接指导。
+以AlphaGo为例，其核心的自我对弈学习过程便是强化学习的经典体现^[9]^。在这个过程中，AlphaGo（智能体）通过观察棋盘的当前布局（环境状态），决定下一步棋的落子位置（行动）。一局棋结束后，根据胜负结果，它会收到一个明确的信号：赢了就是正向奖励，输了则是负向奖励。通过数百万次这样的自我对弈，AlphaGo不断调整其内部策略，逐渐学会了在何种棋局下选择何种行动，最有可能导向最终的胜利。这个过程完全是自主的，不依赖于人类棋谱的直接指导。
 
 这种通过与环境互动、根据反馈信号来优化自身行为的学习机制，就是强化学习的核心框架。下面我们将详细拆解其基本构成要素和工作模式。
 
@@ -428,9 +428,9 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 如第一章所述，智能体与环境的交互可以被抽象为一个核心循环。LLM驱动的智能体通过一个由多个模块协同工作的、持续迭代的闭环流程来完成任务。该流程遵循图2.9所示的架构，具体步骤如下：
 
-1. **感知 (Perception)**：流程始于感知模块。该模块从**外部环境 (****Environment****)** 中接收输入，即**观察 (Observation)**。这些观察信息（如用户指令或环境状态变化）被处理后，传递给规划模块。
+1. **感知 (Perception)**：流程始于感知模块。该模块从**外部环境 (Environment)** 中接收输入，即**观察 (Observation)**。这些观察信息（如用户指令或环境状态变化）被处理后，传递给规划模块。
 2. **规划 (Planning)**：规划模块接收到观察信息后，对其进行分析和高级策略制定。此阶段包含**反思 (Reflection)** 和**自我批判 (Self-criticism)** 等关键机制，旨在将高层级目标分解为更具体的、结构化的行动计划。该计划随后被发送至系统的认知核心——大型语言模型。
-3. **核心处理 (****LLM** **Processing)**：作为中枢的**大型语言模型 (LLM)** 接收来自规划模块的指令。它会与**记忆模块 (Memory)** 进行交互，整合历史信息和上下文，进行深度推理，并最终决策出下一步的具体操作。这个操作通常表现为一个**工具调用 (Tool Call)**。
+3. **核心处理 (LLM Processing)**：作为中枢的**大型语言模型 (LLM)** 接收来自规划模块的指令。它会与**记忆模块 (Memory)** 进行交互，整合历史信息和上下文，进行深度推理，并最终决策出下一步的具体操作。这个操作通常表现为一个**工具调用 (Tool Call)**。
 4. **行动 (Action)**：LLM生成的工具调用指令被发送到**执行模块 (Execution Module)**。该模块解析指令，选择并使用**工具箱 (Tool Use)** 中相应的工具（如代码执行器、搜索引擎等）来执行任务。执行后，工具返回一个**工具结果 (Tool Result)** 给LLM，同时对环境产生一个实际的**行动 (Action)**。
 5. **反馈与更新 (Feedback & Update)**：LLM接收到返回的**工具结果**，评估该步骤的执行效果。基于此结果，LLM会对记忆模块进行**更新 (Memory Update)**，例如记录本次行动的成功、失败或关键产出。同时，环境因智能体的行动而发生改变，产生新的**观察 (Observation)**，该信息被感知模块捕获，从而启动下一轮循环。
 
@@ -444,7 +444,7 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
 
 1. **符号主义 (Symbolism)**：以**司马贺 (Herbert A. Simon)**、**明斯基 (Marvin Minsky)** 等先驱为代表，认为智能的核心在于对符号的操作与逻辑推理。这一思想催生了能够理解自然语言指令的SHRDLU、知识驱动的专家系统以及在国际象棋领域取得巨大成功的“深蓝”计算机。
 2. **联结主义 (Connectionism)**：其灵感源于对大脑神经网络的模拟。尽管早期发展受限，但在**杰弗里·辛顿 (Geoffrey Hinton)** 等研究者的推动下，反向传播算法为神经网络的复苏奠定了基础。最终，随着深度学习时代的到来，这一思想通过卷积神经网络、Transformer等模型成为当前的主流。
-3. **行为主义 (****Behaviorism****)**：强调智能体通过与环境的互动和试错来学习最优策略，其现代化身为强化学习 。从早期的TD-Gammon到与深度学习结合并击败人类顶尖棋手的AlphaGo，这一流派为智能体赋予了从经验中习得复杂决策行为的能力。
+3. **行为主义 (Behaviorism)**：强调智能体通过与环境的互动和试错来学习最优策略，其现代化身为强化学习 。从早期的TD-Gammon到与深度学习结合并击败人类顶尖棋手的AlphaGo，这一流派为智能体赋予了从经验中习得复杂决策行为的能力。
 
 进入21世纪20年代，这些思想流派以前所未有的方式深度融合。以GPT系列为代表的大语言模型，其本身是联结主义的产物，却成为了执行符号推理、进行工具调用和规划决策的核心“大脑”，形成了神经-符号结合的现代智能体架构。为了系统性地回顾这一发展脉络，下图2.10梳理了从20世纪50年代至今，人工智能体发展史上的关键理论、项目与事件，为读者提供一个清晰的全局概览，作为本章知识的沉淀。
 
@@ -460,7 +460,7 @@ ELIZA的实践清晰地揭示了符号主义方法的核心矛盾：系统看似
   <p>图 2.11 AI Agent 技术栈概览</p>
 </div>
 
-该技术栈图由Letta公司于2024年11月发布[10]，它将AI智能体相关的工具、平台和服务进行了分层与分类，为我们理解当前的市场格局和技术选型提供了宝贵的参考。
+该技术栈图由Letta公司于2024年11月发布^[10]^，它将AI智能体相关的工具、平台和服务进行了分层与分类，为我们理解当前的市场格局和技术选型提供了宝贵的参考。
 
 ## 2.5 本章小结