Update README.md
Browse files
README.md
CHANGED
|
@@ -51,7 +51,7 @@ prompt = tokenizer.apply_chat_template(user_input, add_generation_prompt=True, t
|
|
| 51 |
print(prompt)
|
| 52 |
```
|
| 53 |
|
| 54 |
-
- ollama
|
| 55 |
|
| 56 |
```bash
|
| 57 |
# モデルをダウンロードして実行（Q4_K_M）
|
|
@@ -63,7 +63,7 @@ ollama run huggingface.co/Aratako/Qwen3-30B-A3B-ERP-v0.1-GGUF
|
|
| 63 |
こんにちは！私は桜。あなたは？（微笑みながら近づく）
|
| 64 |
```
|
| 65 |
|
| 66 |
-
- vLLM
|
| 67 |
|
| 68 |
```python
|
| 69 |
from transformers import AutoTokenizer
|
|
|
|
| 51 |
print(prompt)
|
| 52 |
```
|
| 53 |
|
| 54 |
+
- ollamaを使った推論例
|
| 55 |
|
| 56 |
```bash
|
| 57 |
# モデルをダウンロードして実行（Q4_K_M）
|
|
|
|
| 63 |
こんにちは！私は桜。あなたは？（微笑みながら近づく）
|
| 64 |
```
|
| 65 |
|
| 66 |
+
- vLLMを使った推論例
|
| 67 |
|
| 68 |
```python
|
| 69 |
from transformers import AutoTokenizer
|