Просмотр исходного кода

Merge branch 'datawhalechina:main' into main

Shufan Jiang 8 месяцев назад
Родитель
Сommit
c0a34c0396
1 измененных файлов с 1 добавлено и 1 удалено
  1. 1 1
      docs/chapter3/第三章 大语言模型基础.md

+ 1 - 1
docs/chapter3/第三章 大语言模型基础.md

@@ -455,7 +455,7 @@ class PositionalEncoding(nn.Module):
         div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
         div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
 
 
         # pe (positional encoding) 的大小为 (max_len, d_model)
         # pe (positional encoding) 的大小为 (max_len, d_model)
-        pe = torch.zeros(max_len, 1, d_model)
+        pe = torch.zeros(1, max_len, d_model)
 
 
         # 偶数维度使用 sin, 奇数维度使用 cos
         # 偶数维度使用 sin, 奇数维度使用 cos
         pe[:, 0, 0::2] = torch.sin(position * div_term)
         pe[:, 0, 0::2] = torch.sin(position * div_term)