Update README.md

README.md

@@ -69,6 +69,22 @@ tokenizer = AutoTokenizer.from_pretrained(base_model, max_sequence_length=3072,
 model_base = AutoModelForCausalLM.from_pretrained(base_model, quantization_config=quantization_config, device_map="auto", torch_dtype=torch.float16, use_flash_attention_2=False)
 model = PeftModel.from_pretrained(model_base, "NLPForUA/Llama-3.1-8B-Instruct-zno-cot-with-topic", quantization_config=quantization_config, device_map="auto", torch_dtype=torch.float16, use_flash_attention_2=False)
 
+input_text = """
+Дайте розгорнуту відповідь на завдання, починаючи з ключового слова "Відповідь:".
+
+Завдання: x / 2 + 4 = 6.5, знайдіть x. 
+"""
+
+messages = [{"role": "user", "content": input_text}]
+
+inputs = tokenizer.apply_chat_template(
+    messages,
+    tokenize=True,
+    add_generation_prompt=True,
+    return_tensors="pt",
+    add_special_tokens=False,
+).to("cuda")
+
 print(tokenizer.decode(
     model.generate(
         input_ids=inputs,
@@ -81,6 +97,23 @@ print(tokenizer.decode(
     )[0]))
 ```
 
+Output:
+```
+<|start_header_id|>assistant<|end_header_id|>
+
+Відповідь:
+ТЕМА: Математичне програмування. Визначення змінних, використовуючи їх у виразах.
+Завдання перевіряє ваше вміння визначати змінні, використовуючи їх у виразах.
+Проаналізуймо запропоноване завдання.
+Змінну х ми визначаємо, виконуючи ряд операцій:
+1. відберемо ліву частину (АЛГОРІТМ ЗМІННОЇ Х)
+2. відберемо праву частину (рівна 6,5)
+3. виконаємо операцію з лівої та правої частини (х/2 + 4 = 6,5)
+4. відберемо змінну х (х/2 = 6,5 - 4 = 2,5)
+5. виконайте операцію з змінною х (х = 2,5 * 2 = 5)
+Відповідь: 5.<|eot_id|>
+```
+
 
 ## Model Details