deepseek吧 关注:106,110贴子:185,486
  • 13回复贴,共1
求助

流畅运行32b模型,需要什么显卡?

只看楼主收藏回复

要在本地流畅运行32b的模型,选哪张显卡更合适,请大佬指教。
9950x+64g内存,选择7900xtx,5080,5070ti,哪张显卡最合适。就是说输出达到阅读速度,相差不大的话都可以接受。5090d实在太贵了。
如果是显存不足会用内存来跑得话,那显卡的算力还有用吗?
显存不足的吗,大显存和小显存的区别还大吗?
是不是5080可以勉强跑70b模型?
请指教。
感谢。


IP属地:江苏来自Android客户端1楼2025-02-07 15:11回复
    xtx可以流畅运行


    IP属地:广东来自Android客户端2楼2025-02-07 15:31
    收起回复
      2080ti22g魔改可以试试32b


      IP属地:广东来自iPhone客户端3楼2025-02-07 15:45
      收起回复
        建议xtx,显存占用就21g了


        IP属地:广东来自Android客户端4楼2025-02-07 23:49
        收起回复
          如果买一张5070ti,再加上现在的4060,不知道这样能不能跑。


          IP属地:江苏来自Android客户端5楼2025-02-08 12:37
          收起回复
            32B要20G显卡内存,显卡不够就会用内存跑,这时优势不如E5洋垃圾ECC四通道内存跑的快


            IP属地:广东来自Android客户端6楼2025-02-12 16:40
            收起回复
              不如api,正常来说api再缩也有70b,要是能保持完整版和本地32b差得天上地下,实在硬要本地那就选显存大的


              IP属地:上海来自Android客户端7楼2025-02-16 12:06
              收起回复