Update README.md

README.md

@@ -10,6 +10,7 @@ pipeline_tag: text-generation
 inference:
   parameters:
     temperature: 0.7
+    repetition_penalty: 1.15
 ---
 # Model Card for Tamil-Mistral-7B-v0.1
 
@@ -29,15 +30,14 @@ Mistral-7B-v0.1 is a transformer model, with the following architecture choices:
 - Byte-fallback BPE tokenizer
 
 
-#### Running the model on a GPU
+#### Running the model on a GPU 16GB 
 
 
 ```python
 import torch
-from transformers import (AutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfig,TextStreamer,pipeline)
-bnb_config = BitsAndBytesConfig(load_in_4bit=True,bnb_4bit_quant_type="nf4",bnb_4bit_compute_dtype="float16",bnb_4bit_use_double_quant=False,)
-model = AutoModelForCausalLM.from_pretrained("Hemanth-thunder/Tamil-Mistral-7B-v0.1",quantization_config=bnb_config,device_map={"": 0})
-tokenizer = AutoTokenizer.from_pretrained("Hemanth-thunder/Tamil-Mistral-7B-v0.1",trust_remote_code=True)
+from transformers import (AutoModelForCausalLM,AutoTokenizer,TextStreamer,pipeline)
+model = AutoModelForCausalLM.from_pretrained("Hemanth-thunder/Tamil-Mistral-7B-v0.1"device_map="auto")
+tokenizer = AutoTokenizer.from_pretrained("Hemanth-thunder/Tamil-Mistral-7B-v0.1",add_prefix_space=True)
 tokenizer.pad_token = tokenizer.eos_token
 tokenizer.padding_side = "right"
 streamer = TextStreamer(tokenizer)
@@ -47,9 +47,9 @@ pipe("ஐபிஎல் தொடரில் மும்பை இந்த
 
 ```generated_text
 
- ஐபிஎல் தொடரில் மும்பை இந்தியன்ஸ் அணி ரிக்கி பாண்டிங்கை எதிர்த்து வருகிறது. 
- இவ்விரு அணிகளுமே பலம் வாய்ந்தவை. ஆகவே, பரபரப்பான இந்த தொடரை பொறுத்தமட்டில் பிளே-ஆஃப் சுற்று வரை
- நுழைய வேண்டிய கட்டாயத்தில் இரு அணிகளும் உள்ளன. மும்பை இந்தியன்ஸ் அணி கடைசி லீக் போட்டியில்
+ஐபிஎல் தொடரில் மும்பை இந்தியன்ஸ் அணி -3வது இடத்திற்கு முன்னேறி இருக்கிறது, இதனால் பிளே ஆஃப் வாய்ப்பை உறுதி செய்ய வேண்டும்.
+இன்னும் 11 புள்ளிகள் மட்டுமே மீதமுள்ளது.சென்னை சூப்பர் கிங்சுக்கு 12 புள்ளிகளில் உள்ளது.
+அதன் கடைசி லீக் போட்டி ஜூன் 23-ம் தேதி சென்னையில் நடைபெறுகிறது.
 
 ```