Update README.md

README.md

@@ -68,6 +68,22 @@ tokenizer = AutoTokenizer.from_pretrained(base_model, max_sequence_length=3072,
 model_base = AutoModelForCausalLM.from_pretrained(base_model, quantization_config=quantization_config, device_map="auto", torch_dtype=torch.float16, use_flash_attention_2=False)
 model = PeftModel.from_pretrained(model_base, "NLPForUA/Llama-3.1-8B-Instruct-zno-cot", quantization_config=quantization_config, device_map="auto", torch_dtype=torch.float16, use_flash_attention_2=False)
 
+input_text = """
+Дайте розгорнуту відповідь на завдання, починаючи з ключового слова "Відповідь:".
+
+Завдання: x / 2 + 4 = 6.5, знайдіть x. 
+"""
+
+messages = [{"role": "user", "content": input_text}]
+
+inputs = tokenizer.apply_chat_template(
+    messages,
+    tokenize=True,
+    add_generation_prompt=True,
+    return_tensors="pt",
+    add_special_tokens=False,
+).to("cuda")
+
 print(tokenizer.decode(
     model.generate(
         input_ids=inputs,
@@ -80,6 +96,23 @@ print(tokenizer.decode(
     )[0]))
 ```
 
+Output:
+```
+<|start_header_id|>assistant<|end_header_id|>
+
+Відповідь:
+Завдання перевіряє ваше вміння виконувати операції з дробовими числами.
+Підкреслимо дробові частини чисел: 6,5 = 6 1/2 = (6/2) + (1/2).
+Знову ж таки поділимо числову частину на знаменник: 6/2 = 3.
+Тепер застосуємо цю інформацію до нашого рівняння: х/2 + 4 = (3 + 1/2).
+Знову ж таки застосуємо цю інформацію до нашого рівняння: х/2 + 4 = 3 + 1/2.
+З правої частини віднімемо 4: х/2 = -1 + 1/2.
+З правої частини знову віднімемо 1/2: х/2 = -3/2.
+З правої частини ділим на -1/2: х = -3/2 * 2.
+З правої частини ділим на -1/2: х = -3.
+Відповідь: -3.<|eot_id|>
+```
+
 
 ## Model Details