我下载的是B站上提供的 ，我想先弄个本地的试试，但不知为啥 模型 总是加载不上。用 KoboldCpp 程序导入模型的时候总是闪退，不清楚是怎么回事，按了绿色按钮 加载到一半就闪退了。请问是因为硬件不达标吗？
sillytavern吧 关注：3,838贴子：6,424
- 6回复贴，共1页
显存先不说 把所有参数最小化 或者直接用CPU运行
不能运行 有两个直接原因
显存和内存
最后是模型太大 本地加载不料
所以1030那点显存不用指望
网上教的哪些都是4090 24GB起步 给韭菜看的 也就能看看
不能运行 有两个直接原因
显存和内存
最后是模型太大 本地加载不料
所以1030那点显存不用指望
网上教的哪些都是4090 24GB起步 给韭菜看的 也就能看看
首先去掉路径中的中文，像这样
然后CLBlast因为效率太垃圾已经停止支持了
你的1030要玩可以用两种方法
1是CUDA，用这个KoboldCPP：https://pan.baidu.com/s/17aobalQCL4T2kIu45azHQQ?pwd=zfb9
这样调整
2是Vulkan，我瞅了一眼1030应该是支持Vulkan的，用这个KoboldCPP：https://pan.baidu.com/s/1XgF-UaCBF2xZdjmYQyv85w?pwd=zh94
这样调整
鉴于1030只有2g显存，GPULayer最好是0来容纳上下文
然后CLBlast因为效率太垃圾已经停止支持了
你的1030要玩可以用两种方法
1是CUDA，用这个KoboldCPP：https://pan.baidu.com/s/17aobalQCL4T2kIu45azHQQ?pwd=zfb9
这样调整
2是Vulkan，我瞅了一眼1030应该是支持Vulkan的，用这个KoboldCPP：https://pan.baidu.com/s/1XgF-UaCBF2xZdjmYQyv85w?pwd=zh94
这样调整
鉴于1030只有2g显存，GPULayer最好是0来容纳上下文
IP属地:四川
3楼2024-07-16 21:15
3楼2024-07-16 21:15收起回复
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频！
看高清直播、视频！
贴吧热议榜
- 1大同强奸案让结婚信任全面崩盘2410890
- 2美国没活了？对华关税又接着上升1889988
- 3女友把爱豆当宝把我当成草1589224
- 4s1mon事件反转对EDG彻底无感1469313
- 5山西订婚案被驳回上诉维持原判1049646
- 6第二个名人堂皮肤会是Uzi吗975225
- 7中国暂停接收波音飞机有何影响853992
- 8我爸在手机上写下令他崩溃的长文662009
- 9T1教练组立军令状死保Smash661650
- 10为何现在少儿频道净播歪瓜裂枣620277
