Update app.py

app.py

@@ -4,10 +4,13 @@ from llama_cpp import Llama
 import requests
 from tqdm import tqdm
 
-# ご自身のモデルURLと保存先パス
+# モデル情報
 MODEL_URL = "https://huggingface.co/mradermacher/Saka-14B-GGUF/resolve/main/Saka-14B.Q4_K_M.gguf"
 MODEL_PATH = "models/Saka-14B.Q4_K_M.gguf"
 
+# システムプロンプト（自由に変更してください）
+SYSTEM_PROMPT = "あなたは丁寧で知的な日本語AIアシスタントです。ユーザーの質問にわかりやすく答えてください。"
+
 def download_model(url=MODEL_URL, path=MODEL_PATH):
     os.makedirs(os.path.dirname(path), exist_ok=True)
     if os.path.exists(path):
@@ -28,36 +31,49 @@ def download_model(url=MODEL_URL, path=MODEL_PATH):
             bar.update(size)
     print("モデルのダウンロードが完了しました。")
 
-# モデルのダウンロード（初回のみ実行）
+# モデルダウンロード
 download_model()
 
 # モデルロード
 llm = Llama(model_path=MODEL_PATH)
 
-def generate_response(prompt, temperature, top_p, max_tokens):
+def build_prompt(messages):
+    prompt = f"<|system|>\n{SYSTEM_PROMPT}\n"
+    for msg in messages:
+        if msg["role"] == "user":
+            prompt += f"<|user|>\n{msg['content']}\n"
+        elif msg["role"] == "assistant":
+            prompt += f"<|assistant|>\n{msg['content']}\n"
+    prompt += "<|assistant|>\n"
+    return prompt
+
+def generate_response(messages, temperature, top_p, max_tokens):
+    prompt = build_prompt(messages)
     response = llm.create_completion(
         prompt=prompt,
         temperature=temperature,
         top_p=top_p,
         max_tokens=max_tokens,
-        stop=["\n\n"]
+        stop=["<|user|>", "<|system|>", "<|assistant|>"]
     )
-    return response.choices[0].text.strip()
+    return response["choices"][0]["text"].strip()
 
 def chat_interface(user_input, history, temperature, top_p, max_tokens):
-    if history is None:
+    if history is None or len(history) == 0:
         history = []
-    history.append(("ユーザー", user_input))
-    prompt = ""
-    for speaker, text in history:
-        prompt += f"{speaker}: {text}\n"
-    prompt += "AI: "
-    response = generate_response(prompt, temperature, top_p, max_tokens)
-    history.append(("AI", response))
-    return history, history
+    history.append({"role": "user", "content": user_input})
+    response = generate_response(history, temperature, top_p, max_tokens)
+    history.append({"role": "assistant", "content": response})
+    
+    chat_display = []
+    for msg in history:
+        role = "ユーザー" if msg["role"] == "user" else "AI"
+        chat_display.append((role, msg["content"]))
+    
+    return chat_display, history
 
 with gr.Blocks() as demo:
-    gr.Markdown("# Saka-14B GGUF 日本語チャット")
+    gr.Markdown("# Saka-14B GGUF 日本語チャット（システムプロンプト＋履歴対応）")
     chatbot = gr.Chatbot()
     user_input = gr.Textbox(placeholder="質問をどうぞ", label="あなたの入力")