一款很有前途的完全开源的大语言模型RWKV，可以本地部署

FireShark

推荐一下，这个模型完全开源，兼具RNN和Transformer的优点，已经被 hugging face 纳入模型库。
效果也挺好.

https://huggingface.co/BlinkDL

https://zhuanlan.zhihu.com/p/618011122

目前 RWKV 有大量模型，对应各种场景，各种语言，请选择合适的模型：

Raven 模型：适合直接聊天，适合 +i 指令。有很多种语言的版本，看清楚用哪个。适合聊天、完成任务、写代码。可以作为任务去写文稿、大纲、故事、诗歌等等，但文笔不如 testNovel 系列模型。
Novel-ChnEng 模型：中英文小说模型，可以用 +gen 生成世界设定（如果会写 prompt，可以控制下文剧情和人物），可以写科幻奇幻。不适合聊天，不适合 +i 指令。
Novel-Chn 模型：纯中文网文模型，只能用 +gen 续写网文（不能生成世界设定等等），但是写网文写得更好（也更小白文，适合写男频女频）。不适合聊天，不适合 +i 指令。
Novel-ChnEng-ChnPro 模型：将 Novel-ChnEng 在高质量作品微调（名著，科幻，奇幻，古典，翻译，等等）。
最近RWKV发了一篇N多合作者一起完成的论文，是关于RWKV第一篇正式论文：

作者对该模型的最新介绍：

https://www.zhihu.com/question/602564718/answer/3042600470


站长写的 ChatRWKV 安装使用教程:

https://openai.wiki/chatrwkv.html

PhiltreX

最近在写LoRA的训练教程，下次有时间折腾一下语言模型训练的教程。

FireShark

PhiltreX 发表于 2023-6-1 02:51
最近在写LoRA的训练教程，下次有时间折腾一下语言模型训练的教程。

细分起来，语言模型可以选择的训练方向太多了。