一、模子先容
RWKV-CHN是一款言语模子(用纯 100%RNN 达到 GPT 能力,致使更强),该格局旨在通过为您自动化扫数事情来摈斥使用大型言语模子的遮拦。扫数你 Need是一个独一几兆字节的轻量级可实践圭臬。此外,该格局还提供了一个接口, 兼容 OpenAI API,这意味着每个 ChatGPT 客户端皆是一个 RWKV 客户端。
具有如下特征:
RWKV 模子责罚,一键启动。前端和后端折柳,要是您不念念使用客户端,也不错单独部署 前端管事,或后端推理管事,或带有 WebUI 的后端推理管事。约略部署示例 | 管事器部署示例兼容 OpenAI API,让每个 ChatGPT 客户端皆成为 RWKV 客户端。启动模子后, 掀开 http://127.0.0.1:8000/docs 以检察更多持重信息。自动依赖安设,只需要一个轻量级的可实践圭臬。预设多级 VRAM 竖立,的确在扫数计较机上皆能夙昔责任。在 Configs 页面中,将 Strategy 切换到 WebGPU,它 也不错在 AMD、Intel 和其他显卡上启动。包括用户友好的聊天、完成和组合交互界面。还维持聊天预设、附件 上传、MIDI 硬件输入和轨说念剪辑。预览 |MIDI 硬件输入
二、模子搭建进程
1. 容器镜像一键使用
参预算家云的“诓骗社区”,点击搜索找到"RWKV-CHN",点击“创建诓骗”,即可参预“租用实例”页面
参预“租用实例”页面之后会自动匹配模子,聘用显卡,点击“立即创建”即可创建实例
2. 结尾操作
实例创建到手之后,点击“格局实例”再点击“WebShell”开启结尾(小黑屏)
参预号召操作页后,输入或者复制粘贴以下号召:
激活编造环境
conda activate RWKV-CHN
掀开文献
cd RWKV-CHN
启动模子
python app.py
3. 获得端标语
第一次使用需要进行实名认证(通过实名认证可跳过此步调)
实名认证之后进行树立对外端口
获得打听地址
4.UI演示
获得打听地址后,在浏览器粘贴网址即可参预Web页面
以上等于在算家云搭建 RWKV-CHN的进程,具体使用形势可参预算家云诓骗社区检察该模子的使用线路。
复制下方网址,参预算家云,聘用模子,一键开启 AI 之旅!
算家云诓骗社区:www.suanjiayun.com/mirror