Commit
·
3dee8a9
1
Parent(s):
bdd49ab
Update README.md
Browse files
README.md
CHANGED
|
@@ -81,14 +81,14 @@ BatGPT-15B-sirius 具体参数和见下表:
|
|
| 81 |
|
| 82 |
| 模型名称 | 隐含层维度 | 层数 | Query头数 | Key/Value头数 |词表大小 | 总参数量 | 训练数据(tokens) | 位置编码 | 最大长度 |
|
| 83 |
|-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
|
| 84 |
-
| BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 |
|
| 85 |
|
| 86 |
|
| 87 |
|
| 88 |
The specific parameters of BatGPT-15B-sirius are as follows:
|
| 89 |
| Model Name | Hidden Size | Num Layers | Query Heads | Key/Value Heads |Vocab Size | Total Params | Training Dats(tokens) | Position Embedding | Max Length |
|
| 90 |
|-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
|
| 91 |
-
| BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 |
|
| 92 |
|
| 93 |
|
| 94 |
|
|
|
|
| 81 |
|
| 82 |
| 模型名称 | 隐含层维度 | 层数 | Query头数 | Key/Value头数 |词表大小 | 总参数量 | 训练数据(tokens) | 位置编码 | 最大长度 |
|
| 83 |
|-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
|
| 84 |
+
| BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 | 1T | [RoPE](https://arxiv.org/abs/2104.09864) | 32K |
|
| 85 |
|
| 86 |
|
| 87 |
|
| 88 |
The specific parameters of BatGPT-15B-sirius are as follows:
|
| 89 |
| Model Name | Hidden Size | Num Layers | Query Heads | Key/Value Heads |Vocab Size | Total Params | Training Dats(tokens) | Position Embedding | Max Length |
|
| 90 |
|-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
|
| 91 |
+
| BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 | 1T | [RoPE](https://arxiv.org/abs/2104.09864) | 32K |
|
| 92 |
|
| 93 |
|
| 94 |
|