问题是什么？
大家都知道deepseek开源了大模型，可能想本地部署试试效果如何，去各个大模型平台看了一遍，这时候部分人可能会很奇怪，为什么这些平台官方推荐的deepseek大模型都是“DeepSeek-R1-Distill-Qwen” 这种？deepseek和Qwen有什么关系？什么是Distill？
什么是DeepSeek，Distill，Qwen？
- DeepSeek-R1，是幻方量化旗下AI公司深度求索（DeepSeek）研发的推理模型 。DeepSeek-R1的强项之一是具有很强的推理能力。
- 数据搜索能力
- Qwen，阿里巴巴的大模型，强项是具有较为丰富的参数。
- 丰富的数据
- Distill，蒸馏这个过程，就是结合两者的优势，组合成一个新的大模型。
- 强大的数据集 + 强大的推理计算能力
综上，DeepSeek-R1-Distill-Qwen 类似一种果树的嫁接技术，将deepseek的推理能力嫁接到Qwen的数据里。
怎么选择适合自己硬件大模型？
- DeepSeek-R1-Distill-Qwen-32B-IQ3_M.gguf, 14.81GB
- DeepSeek-R1-Distill-Qwen-7B-f16.gguf, 15.24GB
以这两个模型为例，它们大小相近，但大多数情况下，2优于1。
- 1具有320亿参数，IQ3_XS代表了一种平衡性能与效率的量化策略，量化过程可能会导致一定的精度损失，但是它仍然保留了大量的原始信息。
- 2只有基于70亿参数，没有经过裁剪或量化处理。理论上可以提供最接近于原始训练模型的性能，特别是在准确性和细节处理方面。但是由于参数量较少，它可能在理解和生成复杂文本时不如32B版本。
这其实是个复杂、需要综合考虑的问题。一般而言，越接近原始大模型的版本最好，但是普通用户受限于显卡算力，只能选择修剪后的版本。
16GB显存的显卡，一般选择7b，14b参数，跑32b会有压力。因此如果你是最新的5090显卡，就可以更大参数的。