Update README.md
Browse files
README.md
CHANGED
|
@@ -17,6 +17,40 @@ library_name: transformers
|
|
| 17 |
|
| 18 |
system promptにロールプレイさせたいキャラクターの設定や対話の状況等を入力してご利用ください。
|
| 19 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 20 |
- ollamaを使った例
|
| 21 |
|
| 22 |
```bash
|
|
|
|
| 17 |
|
| 18 |
system promptにロールプレイさせたいキャラクターの設定や対話の状況等を入力してご利用ください。
|
| 19 |
|
| 20 |
+
- Chat Template
|
| 21 |
+
|
| 22 |
+
本モデルは以下のようなChat Templateで利用してください。
|
| 23 |
+
|
| 24 |
+
```
|
| 25 |
+
<|im_start|>system
|
| 26 |
+
{system_prompt}<|im_end|>
|
| 27 |
+
<|im_start|>user
|
| 28 |
+
{user_message_1}<|im_end|>
|
| 29 |
+
<|im_start|>assistant
|
| 30 |
+
{assistant_message_1}<|im_end|>
|
| 31 |
+
<|im_start|>user
|
| 32 |
+
{user_message_2}<|im_end|>
|
| 33 |
+
<|im_start|>assistant
|
| 34 |
+
```
|
| 35 |
+
|
| 36 |
+
以下のようにtokenizerの`apply_chat_template`によって加工できます。
|
| 37 |
+
|
| 38 |
+
```
|
| 39 |
+
from transformers import AutoTokenizer
|
| 40 |
+
|
| 41 |
+
tokenizer = AutoTokenizer.from_pretrained("Aratako/Qwen3-30B-A3B-ERP-v0.1")
|
| 42 |
+
|
| 43 |
+
user_input = [
|
| 44 |
+
{"role": "system", "content": "system prompt"},
|
| 45 |
+
{"role": "user", "content": "user message 1"},
|
| 46 |
+
{"role": "assistant", "content": "assistant message 1"},
|
| 47 |
+
{"role": "user", "content": "user message 2"},
|
| 48 |
+
]
|
| 49 |
+
|
| 50 |
+
prompt = tokenizer.apply_chat_template(user_input, add_generation_prompt=True, tokenize=False)
|
| 51 |
+
print(prompt)
|
| 52 |
+
```
|
| 53 |
+
|
| 54 |
- ollamaを使った例
|
| 55 |
|
| 56 |
```bash
|