那么究竟性能如何？我已经正在测试了！稍后放出 BF16，8bit量化，4bit量化的测试结果，敬请期待！
目前来看，如果4bit量化效果好，那么妥妥是单机部署最适合的模型了，只有18GB左右大小。Mac Mini 24G 就能运行。
mlx和unsloth的相关量化版本也放出来了，从BF16-3bit量化都有。感兴趣的同学可以试试。详细评测我一会也会放出。
地址：http://huggingface.co/mlx-community/QwQ-32B-bf16
unsloth量化版本地址：http://huggingface.co/unsloth/QwQ-32B-GGUF
mlx量化版本地址：http://huggingface.co/mlx-community/QwQ-32B-4bit