Update README.md

README.md

@@ -21,7 +21,7 @@ base_model:
 Весь использованный код для обучения выложен в нашем репозитории [effective_llm_alignment](https://github.com/VikhrModels/effective_llm_alignment/) на GitHub, а основаные датасеты дсотупны в нашем [профиле на HF](https://huggingface.co/Vikhrmodels).
 
 ### Особенности
-1. Высокое качество генераций на русском и английском языках, а также некоторых других языках, благодаря датасету [Grandmaster-PRO-MAX](https://huggingface.co/datasets/Vikhrmodels/GrandMaster-PRO-MAX) и исходной модели.
+1. Высокое качество генераций на русском и английском языках, а также некоторых других языках, благодаря датасету [Grandmaster-PRO-MAX](https://huggingface.co/datasets/Vikhrmodels/GrandMaster-PRO-MAX) и исходной модели
 2. Поддержка системных промптов для регулриования стиля ответов
 3. Поддержка до 128k токенов контекста благодаря исходной модели
 4. Grounded RAG режим - модель имеет специальную роль documents и специальный режим работы для поиска идентификаторов релевантных вопросу пользователя документов и использования их для ответа на вопрос, вдохновлено аналогичной способность модели Command-R
@@ -189,8 +189,8 @@ base_model:
 
 ### Как работать с RAG
 
-Роль documents представляет из себя список словарей с описанием контента документов, с примнением json.dumps(array). \
-Контент документов представлен в **3** случайных форматах: **Markdown**, **HTML**, **Plain Text**. Контент кажддого документа - случайный чанк из статьи длиной до 4к символов.
+Роль documents представляет из себя список словарей с описанием контента документов, с примнением `json.dumps(array, ensure_ascii=False)` (см. пример ниже). \
+Контент документов может быть представлен в **3** различных форматах: **Markdown**, **HTML**, **Plain Text**. Контент каждого документа - может быть чанком текста длиной до 4к символов.
 
 ```json
 [
@@ -202,9 +202,67 @@ base_model:
 ]
 ```
 
+#### Пример правильного использования с OpenAI-like API
+
+```python
+GROUNDED_SYSTEM_PROMPT = "Your task is to answer the user's questions using only the information from the provided documents. Give two answers to each question: one with a list of relevant document identifiers and the second with the answer to the question itself, using documents with these identifiers."
+
+documents = [
+  {
+    "doc_id": 0,
+    "title": "Глобальное потепление: ледники",
+    "content": "За последние 50 лет объем ледников в мире уменьшился на 30%"
+  },
+  {
+    "doc_id": 1,
+    "title": "Глобальное потепление: Уровень моря",
+    "content": "Уровень мирового океана повысился на 20 см с 1880 года и продолжает расти на 3,3 мм в год"
+  }
+]
+sample_history = [
+    {'role': 'system', 'content': GROUNDED_SYSTEM_PROMPT}, 
+    {'role': 'documents', 'content': json.dumps(documents, ensure_ascii=False)},
+    {'role': 'user', 'content': 'Глоабльное потепление'}
+]
+relevant_indexes = llm_client.chat.completions.create(
+    model=llm_model,
+    messages=sample_history,
+    temperature=0.0,
+    max_tokens=2048
+).choices[0].message.content
+
+print('Using documents: ' + relevant_indexes + '\n----')
+final_answer = llm_client.chat.completions.create(
+    model=llm_model,
+    messages=sample_history + [{'role': 'assistant', 'content': relevant_indexes}],
+    temperature=0.3,
+    max_tokens=2048
+).choices[0].message.content
+
+print(final_answer)
+```
+
+Ответ после выоплнения кода будет выглядеть примерно так:
+
+    'Using documents: {"relevant_doc_ids": [0, 1]}'
+    ----
+
+    Глобальное потепление – это долгосрочное повышение средней температуры атмосферы и океанов Земли. Это явление имеет множество последствий для нашей планеты, и среди них можно выделить два ключевых аспекта, основанных на доступных мне данных:
+    
+    1. **Уменьшение объема ледников**: За последние 50 лет наблюдается значительное сокращение объема ледников по всему миру. Согласно данным, объем ледников уменьшился на 30%. Это может быть связано с таянием ледников из-за повышения температур, что является одним из признаков глобального потепления.
+    
+    2. **Повышение уровня моря**: Уровень мирового океана также увеличивается, что связано с таянием ледников и ледяных покровов, а также с расширением воды при повышении температуры. С 1880 года уровень моря повысился на 20 сантиметров, и этот процесс продолжается, с ежегодным увеличением на 3,3 миллиметра.
+    
+    Эти изменения имеют серьезные последствия для экосистем, климата и человеческого общества. Таяние ледников приводит к повышению уровня моря, что может привести к затоплению прибрежных территорий и островов, а также к изменению водных ресурсов и климатических паттернов.
+
+Используя первый ответ модели `relevant_indexes`, можно понять нашла ли модель информацию в документах или нет, она обучена возврашать пустой массив если ее нет и в таком случае она будет отвечать, что не смогла найти информацию в базе знаний.
+
 ### Нюансы и ограничения
-- Модель имеет низкий уровень безопасности ответов и нацелена на правильное и полное выполенние инстуркций, имейте это ввиду при использовании
-- Системные промпты не предназначены для описание персонажей, используйте их только для спецификации стиля ответа (вроде "answer only in json format"). Кроме того они должны быть на английском, так как так было в датасете, здесь от английского не зависит язык ответа.
-- RAG режим требует обязательного наличия системного промпта описаного в секции *Как работать с RAG*
+- Модель имеет **низкий уровень безопасности ответов** и нацелена на правильное и полное выполенние инстуркций, имейте это ввиду при использовании. Частично это исправляется системными промптами и дополнительными указаниями о важности безопасности в промпте пользователя.
+- Системные промпты не предназначены для описание персонажей, используйте их только для спецификации стиля ответа (вроде "answer only in json format"). Кроме того они должны быть **на английском**, так как так было в датасете, здесь от английского не зависит язык ответа.
+- RAG режим **требует обязательного** наличия системного промпта `GROUNDED_SYSTEM_PROMPT` описаного в секции *Как работать с RAG*. Так же иногда модель может добавлять также общую информацию в ответ к той, что есть в документах.
 
 ### Авторы 
+- Sergei Bratchikov, [NLP Wanderer](https://t.me/nlpwanderer), Vikhr Team
+- Aleksandr Nikolich, Vikhr Team
+- Konstantin Korolev, Vikhr Team