|
|
@@ -755,7 +755,7 @@ for i in range(num_merges):
|
|
|
|
|
|
<strong>3.2.2.3 分词器对开发者的意义</strong>
|
|
|
|
|
|
-理解分词算法的细节并非目的,但作为智能体的开发者,理解分词器的实际影响是重要,这直接关系到智能体的性能、成本和稳定性:
|
|
|
+理解分词算法的细节并非目的,但作为智能体的开发者,理解分词器的实际影响十分重要,这直接关系到智能体的性能、成本和稳定性:
|
|
|
|
|
|
- <strong>上下文窗口限制</strong>:模型的上下文窗口(如 8K, 128K)是以 <strong>Token 数量</strong>计算的,而不是字符数或单词数。同样一段话,在不同语言(如中英文)或不同分词器下,Token 数量可能相差巨大。精确管理输入长度、避免超出上下文限制是构建长时记忆智能体的基础。
|
|
|
- <strong>API 成本</strong>:大多数模型 API 都是按 Token 数量计费的。了解你的文本会被如何分词,是预估和控制智能体运行成本的关键一步。
|