图拉丁吧 关注:7,904,858贴子:131,726,359
  • 2回复贴,共1

补:p104本地部署结果

只看楼主收藏回复

deepseek r1,基于qwen蒸馏7b,无论是q2量化还是q4量化,都能完全用显卡来跑,速度很快,不会爆显存,回答3.9和3.11经典问题,可以在1秒内给出正确答案
14b速度偏慢,会爆显存,需要CPU和显卡混合,速度偏慢,如果不是四通道内存会进一步加慢速度
32基本上就纯CPU来了
纯CPU跑很吃内存带宽,最少四通道起步,e5 2673v3+单通道(没钱了,先用单通道)16g ecc内存,7b大概一秒可以蹦三五个字出来,14b的速度也差不多,7b Q2量化大概占用5g内存,Q4要多2~3g?
如果p106/p104显卡锁139频率,可以尝试更换475驱动



IP属地:广东来自Android客户端1楼2025-02-16 09:43回复
    拍屏是最快的分享方式→_→


    IP属地:广东来自Android客户端3楼2025-02-16 09:44
    回复
      2025-08-11 23:37:17
      广告
      不感兴趣
      开通SVIP免广告
      没试试多张卡


      IP属地:辽宁来自Android客户端4楼2025-02-18 20:53
      回复