类chatgpt项目试玩，chatglm上手

小猪佩奇

最近类chatgpt的项目如雨后春笋般出现，当中比较有名的LLaMA、Alpaca、chatglm、MiniGPT-4等。

其中脸书的LLaMA直接叫板chatgpt，声称只要较少参数就可以实现GPT-3.5的效果，即LLaMA-13B>GPT-3（175B）



并且13B的模型完全可以跑在家用显卡上。

因为之前开了免费的DSW，A10的显卡，拿来跑图着实有点可惜，故想试试其他项目。

DSW Gallery有提供chatglm的试玩，但脚本写的有问题，几次三番都无法成功部署。


后想起b站的秋叶大佬有做一键包，于是度盘挂了几天终于把模型和包下本地，考虑到DSW坑爹的网络环境，还是直接从线上拉一个模型解压到里面。



启动方式很简单，里面带的python和git用不到，只需要设置下启动参数即可

1. webui.py --precision fp16 --model-path "./chatglm-6b"

复制代码

其中chatglm-6b对应模型实际的路径。

复制丢到shell里，然后从弹出来的http://127.0.0.1:17860访问即可

这个地址会被映射到dsw-xxxx/proxy的位置，可以被访问，但需要验证。

看下效果，左边可以进行微调（粗略的微调）



可以进行连续对话，但个人使用起来与chatgpt3.5有很大差距



看下后台，GPU的使用率和提问频率有关，性能曲线多为突发，并且占用不超过80%，可能和问题的难度有关。显存则会大量+长期占用



注意这个时候已经用了超过20G显存，意味着继续进行对话可能会爆。尝试清空对话后，又能继续使用，但显存并没有被释放出来。

目前DSW貌似穿透不出来，frp连接一次之后立刻就会断，sdwebui的穿透似乎也失去了作用，宝塔安装后直接强制重启，所以想用自己的域名可能会有难度。

小猪佩奇

md，这机器就应该拿来炼丹，给我画瑟图简直浪费

美图秀秀

ChatRWKV用着也可以，前几天试了下用3b和7b的模型写小说，感觉写的也像模像样了

小猪佩奇

美图秀秀 发表于 2023-5-10 19:44
ChatRWKV用着也可以，前几天试了下用3b和7b的模型写小说，感觉写的也像模像样了 ...

有空建个自己的知识库