是否支持超过512长度的内容?
#7
by
weiminw
- opened
请问是否可以在超过512content length下使用该模型?
理论上是可以的，只是达不到最佳效果
是否有计划训练8192长度的模型呢? 我现在在找支持多语言的的NLI模型, 市面上的都不大好(大部分长度都是512的, 由于我需要设计复杂条款之间的关系需要的文本长度可能较长), 不知道是否可以基于你的模型,进行NLI数据的微调呢?感谢您的回答.
是否有计划训练8192长度的模型呢? 我现在在找支持多语言的的NLI模型, 市面上的都不大好(大部分长度都是512的, 由于我需要设计复杂条款之间的关系需要的文本长度可能较长), 不知道是否可以基于你的模型,进行NLI数据的微调呢?感谢您的回答.
- 因为更长的 ctx 需要的算力成本是指数级上升的，可能需要消耗100倍的机时才能达到相近效果，你愿意承担算力成本的话我可以训练更长的
- NLI 任务本质上应该就是 文本分类 任务吧，我没实操过，理论上是可以的
算力大概需要什么条件? 我看看我是否有资源?
算力大概需要什么条件? 我看看我是否有资源?
现在这个版本是用一个 8*L40 的机器训练了大约5天，粗略估计的话可以按 100 倍来算
我不太确定如果使用 H100 之类的新卡实际需要多少机时
或者你也可以参考我的训练脚本自己炼，因为这个版本只是我炼给自己的APP用的，所以还挺粗糙的，如果你要用在商业用途上，可以做的更仔细一点
训练脚本你方便提供吗?感谢
好的,感谢