deepseek r1,基于qwen蒸馏7b,无论是q2量化还是q4量化,都能完全用显卡来跑,速度很快,不会爆显存,回答3.9和3.11经典问题,可以在1秒内给出正确答案
14b速度偏慢,会爆显存,需要CPU和显卡混合,速度偏慢,如果不是四通道内存会进一步加慢速度
32基本上就纯CPU来了
纯CPU跑很吃内存带宽,最少四通道起步,e5 2673v3+单通道(没钱了,先用单通道)16g ecc内存,7b大概一秒可以蹦三五个字出来,14b的速度也差不多,7b Q2量化大概占用5g内存,Q4要多2~3g?
如果p106/p104显卡锁139频率,可以尝试更换475驱动


14b速度偏慢,会爆显存,需要CPU和显卡混合,速度偏慢,如果不是四通道内存会进一步加慢速度
32基本上就纯CPU来了
纯CPU跑很吃内存带宽,最少四通道起步,e5 2673v3+单通道(没钱了,先用单通道)16g ecc内存,7b大概一秒可以蹦三五个字出来,14b的速度也差不多,7b Q2量化大概占用5g内存,Q4要多2~3g?
如果p106/p104显卡锁139频率,可以尝试更换475驱动

