p104 8g 可以跑glm吗【chatglm吧】

chatglm吧关注：285贴子：451

求各位大佬指点，顺便问一下，本地部署的glm是不是不用联网也可以运行

送TA礼物

IP属地:福建

来自Android客户端1楼2024-01-06 19:12回复

是的，不用联网，然后8g的显存的话，应该是可以部署的

IP属地:陕西

来自Android客户端2楼2024-01-20 16:14

Int 4量化只需要最低6g就可以

IP属地:陕西

来自Android客户端3楼2024-01-20 16:14

据我所知不能跑
chatglm的配置要求是支持半精度计算的显卡如果不支持，理论上说显存要求要加倍
p104 8G 相当于1070 ，10系列不支持半精度
半精度计算最低也是要16 系列的显卡

IP属地:湖北

4楼2024-01-21 20:17

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴