|
|
--- |
|
|
language: |
|
|
- sv |
|
|
- da |
|
|
- 'no' |
|
|
tags: |
|
|
- pytorch |
|
|
- llama |
|
|
- llama-3 |
|
|
- ai-sweden |
|
|
base_model: meta-llama/Meta-Llama-3-8B |
|
|
pipeline_tag: text-generation |
|
|
inference: |
|
|
parameters: |
|
|
temperature: 0.6 |
|
|
--- |
|
|
|
|
|
# AI-Sweden-Models/Llama-3-8B |
|
|
 |
|
|
|
|
|
### Intended usage: |
|
|
This is a base model, it can be finetuned to a particular use case. |
|
|
|
|
|
[**-----> instruct version here <-----**](https://huggingface.co/AI-Sweden-Models/Llama-3-8B-instruct) |
|
|
|
|
|
### Use with transformers |
|
|
|
|
|
See the snippet below for usage with Transformers: |
|
|
|
|
|
```python |
|
|
import transformers |
|
|
import torch |
|
|
|
|
|
model_id = "AI-Sweden-Models/Llama-3-8B" |
|
|
|
|
|
pipeline = transformers.pipeline( |
|
|
task="text-generation", |
|
|
model=model_id, |
|
|
model_kwargs={"torch_dtype": torch.bfloat16}, |
|
|
device_map="auto" |
|
|
) |
|
|
|
|
|
pipeline( |
|
|
text_inputs="Sommar och sol är det bästa jag vet", |
|
|
max_length=128, |
|
|
repetition_penalty=1.03 |
|
|
) |
|
|
``` |
|
|
```python |
|
|
>>> "Sommar och sol är det bästa jag vet! |
|
|
Och nu när jag har fått lite extra semester så ska jag njuta till max av allt som våren och sommaren har att erbjuda. |
|
|
Jag har redan börjat med att sitta ute på min altan och ta en kopp kaffe och läsa i tidningen, det är så skönt att bara sitta där och njuta av livet. |
|
|
|
|
|
Ikväll blir det grillat och det ser jag fram emot!" |
|
|
``` |
|
|
## Training information |
|
|
|
|
|
`AI-Sweden-Models/Llama-3-8B` is a continuation of the pretraining process from `meta-llama/Meta-Llama-3-8B`. |
|
|
It was trained on a subset from [The Nordic Pile](https://arxiv.org/abs/2303.17183) containing Swedish, Norwegian and Danish. |
|
|
|
|
|
The training dataset consists of 227 105 079 296 tokens. |
|
|
|
|
|
## Benchmarks |
|
|
|
|
|
Coming soon. |
|
|
|
|
|
## Checkpoints |
|
|
* 15/6/2024 (18833) => 1 epoch |
|
|
* 11/6/2024 (16000) |
|
|
* 07/6/2024 (14375) |
|
|
* 03/6/2024 (11525) |
|
|
* 29/5/2024 (8200) |
|
|
* 26/5/2024 (6550) |
|
|
* 24/5/2024 (5325) |
|
|
* 22/5/2024 (3900) |
|
|
* 20/5/2024 (2700) |
|
|
* 13/5/2024 (1500) |
