update
Browse files
README.md
CHANGED
|
@@ -10,12 +10,19 @@ language:
|
|
| 10 |
- zh
|
| 11 |
---
|
| 12 |
|
| 13 |
-
##
|
| 14 |
|
| 15 |
-
|
| 16 |
|
| 17 |
> 训练第一轮足够了，后续第二轮和第三轮提升不大
|
| 18 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 19 |
|
| 20 |
|
| 21 |
## 测试效果
|
|
@@ -27,6 +34,10 @@ language:
|
|
| 27 |
|
| 28 |
|
| 29 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 30 |
## 感谢
|
| 31 |
|
| 32 |
- [@hz大佬-zero_nlp](https://github.com/yuanzhoulvpi2017/zero_nlp)
|
|
|
|
| 10 |
- zh
|
| 11 |
---
|
| 12 |
|
| 13 |
+
## GoGPT
|
| 14 |
|
| 15 |
+
基于中文指令数据微调BLOOM
|
| 16 |
|
| 17 |
> 训练第一轮足够了，后续第二轮和第三轮提升不大
|
| 18 |
|
| 19 |
+
- 🚀多样性指令数据
|
| 20 |
+
- 🚀筛选高质量中文数据
|
| 21 |
+
|
| 22 |
+
| 模型名字 | 参数量 | 模型地址 |
|
| 23 |
+
|------------|--------|------|
|
| 24 |
+
| gogpt-560m | 5.6亿参数 | 🤗[golaxy/gogpt-560m](https://huggingface.co/golaxy/gogpt-560m) |
|
| 25 |
+
| gogpt-3b | 30亿参数 | 🤗[golaxy/gogpt-3b](https://huggingface.co/golaxy/gogpt-3b) |
|
| 26 |
|
| 27 |
|
| 28 |
## 测试效果
|
|
|
|
| 34 |
|
| 35 |
|
| 36 |
|
| 37 |
+
## TODO
|
| 38 |
+
- 进行RLFH训练
|
| 39 |
+
- 后续加入中英平行语料
|
| 40 |
+
|
| 41 |
## 感谢
|
| 42 |
|
| 43 |
- [@hz大佬-zero_nlp](https://github.com/yuanzhoulvpi2017/zero_nlp)
|