Update README.md

edited transformers snippet code

README.md

@@ -33,16 +33,21 @@ Mistral-7B-v0.1 is a transformer model, with the following architecture choices:
 
 
 ```python
-from transformers import AutoTokenizer, AutoModelForCausalLM
-
-tokenizer = AutoTokenizer.from_pretrained("Hemanth-thunder/Tamil-Mistral-7B-v0.1")
-model = AutoModelForCausalLM.from_pretrained("Hemanth-thunder/Tamil-Mistral-7B-v0.1")
+import torch
+from transformers import (AutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfig,TextStreamer,pipeline)
+bnb_config = BitsAndBytesConfig(load_in_4bit=True,bnb_4bit_quant_type="nf4",bnb_4bit_compute_dtype="float16",bnb_4bit_use_double_quant=False,)
+model = AutoModelForCausalLM.from_pretrained("Hemanth-thunder/Tamil-Mistral-7B-v0.1",quantization_config=bnb_config,device_map={"": 0})
+tokenizer = AutoTokenizer.from_pretrained("Hemanth-thunder/Tamil-Mistral-7B-v0.1",trust_remote_code=True)
+tokenizer.pad_token = tokenizer.eos_token
+tokenizer.padding_side = "right"
+streamer = TextStreamer(tokenizer)
+pipe = pipeline("text-generation" ,model=model, tokenizer=tokenizer ,do_sample=True, repetition_penalty=1.15,top_p=0.95,streamer=streamer)
+pipe("ஐபிஎல் தொடரில் மும்பை இந்தியன்ஸ் அணி ",max_length=50)
+```
 
-input_text = "ஒரு கிராமத்தில் பண்ணையார் ஒருவர் வாழ்ந்து வந்தார்."
-input_ids = tokenizer(input_text, return_tensors="pt")
+```Generated text
+ஐபிஎல் தொடரில் மும்பை இந்தியன்ஸ் அணி ரிக்கி பாண்டிங்கை எதிர்த்து வருகிறது. இவ்விரு அணிகளுமே பலம் வாய்ந்தவை. ஆகவே, பரபரப்பான இந்த தொடரை பொறுத்தமட்டில் பிளே-ஆஃப் சுற்று வரை நுழைய வேண்டிய கட்டாயத்தில் இரு அணிகளும் உள்ளன. மும்பை இந்தியன்ஸ் அணி கடைசி லீக் போட்டியில்
 
-outputs = model.generate(**input_ids)
-print(tokenizer.decode(outputs[0]))
 ```
 
 ## Troubleshooting