网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索
deepseek吧 关注：82,830贴子：124,708

想本地部署70B的deepseek R1，有无推荐

只看楼主收藏回复

据说deepseek本地部署成本很低，预算五万能否拿下70B？
IP属地:四川来自Android客户端1楼2025-02-03 21:59回复
    顶
    IP属地:四川来自Android客户端2楼2025-02-03 21:59
    回复
      顶
      IP属地:四川来自Android客户端3楼2025-02-03 21:59
      回复
        有没有部署过的大佬给写个配置单
        IP属地:四川来自Android客户端4楼2025-02-03 22:00
        回复
          70b靠显卡的话推荐配置是两张4090
          IP属地:陕西来自Android客户端5楼2025-02-03 22:00
          回复
            但是除了671b以外的版本都不是满血的
            IP属地:陕西来自Android客户端6楼2025-02-03 22:01
            收起回复
              我看到的推荐配置
              IP属地:陕西来自Android客户端7楼2025-02-03 22:05
              收起回复
                好像和内存有关，有的人拿cpu加高内存纯cpu也能跑。或者拿显卡跑的话，就拿那些改大显卡内存的例如48g或者22g的
                IP属地:广东来自Android客户端9楼2025-02-06 17:04
                回复
                  6张 3060 12G不就搞定了
                  IP属地:上海10楼2025-02-07 02:38
                  回复
                    首先先明确你的需求，不要看几个评论区的回答就一股脑扎进去了 你人傻钱多不在乎 当我没说
                    然后
                    个人玩具? 商业部署? 使用哪个量化模型?
                    你只玩这个项目的话这个价钱甚至能部署q4量化671b模型 但你还想着玩其它的那钱就不能这样花
                    我可以告诉你的我手上1500的装备都能跑70b的模型
                    还是那句话 明确你的需求！
                    IP属地:贵州来自Android客户端11楼2025-02-07 15:16
                    收起回复
                      只为了跑70B的话 这一代的AMDCPU 闲鱼花两万出头买张4090魔改48G就够了 3W左右就行
                      IP属地:广东12楼2025-02-07 16:02
                      回复
                        我就在跑70B，只不过是量化版本的，70B-Q3，大概占用显存34G左右，只要你不嫌慢，一张12G的显存+32G共享显存，就可以实现。我本地机器是 i5-12600k + 4070ti + 32G*2的DDR5内存 ，部署下来实测速度大概是1token到1.5token每秒的样子，但勉强能用. 我是HF上下载的GGUF版本，导入到ollama使用
                        IP属地:浙江13楼2025-02-07 17:15
                        收起回复
                          如果你是为了成本去本地部署，那我劝你打消这个念头。成本再低也绝对高于API
                          IP属地:上海来自Android客户端14楼2025-02-09 11:01
                          回复
                            如果你有50w 。我建议你出国旅游，可能有更好的体验。
                            IP属地:湖北15楼2025-02-09 11:20
                            回复
                              i7-12代CPU，4070ti 8G显存，16G内存，要怎么配置才能跑起来14B或者32B的模型，谢谢各位大佬!
                              IP属地:云南16楼2025-02-10 13:23
                              收起回复

                                扫二维码下载贴吧客户端

                                下载贴吧APP
                                看高清直播、视频！
                                发表回复
                                发贴请遵守贴吧协议及“七条底线”贴吧投诉
                                内  容:
                                  查看全部
                                发 表
                                保存至快速回贴

                                发布成功
                                去贴吧APP订阅抽奖结果通知
                                扫码进入贴吧APP
                                ···········
                                开奖后第一时间站内信通知
                                ···········
                                中奖结果全员公示