实测 18 个本地大模型,Mac mini 16g 还是挺能打的

萝卜2026-11-10

我在 Mac mini M4 16g 上测试了 18 个大模型,从千问 0.8B,到 27B,从图片理解到图片生成编辑,从音频识别到生成和克隆,甚至视频生成。

总体来说,挺惊喜的,大部分都能做到能用,有些还挺不错,下面逐个说说。

对话

mlx-community/Qwen3.5-0.8B-8bit

速度:110 tok/s

点评:可以简单对话,翻译,执行外部工具失败,讲个笑话,不知所云。

mlx-community/Qwen3.5-2B-OptiQ-4bit

速度:60 tok/s

点评:比 0.8b 强一点,并未有明显突破

mlx-community/Qwen3.5-4B-MLX-4bit

速度:38 tok/s

点评:

Mac mini 16g 内存的最佳拍档。

可以有完整的对话,翻译字幕文件,连续调用工具(MCP),图片理解等。

但讲笑话,只会讲 0 遇见 8,问它干嘛扎腰带。

实测,上下文长度超过 10k,速度便明显慢了。因为缓存兜不住。似乎也是一直能跑。

avan-ag/Qwen3.5-4B-Uncensored-MLX-4bit

速度:39 tok/s

点评:Qwen 4b 的越狱版本,比官方量化版速度稍微快一点,但工具调用,不如前者稳。

mlx-community/Spark-X2.6-4B-OptiQ-4bit

速度:32 tok/s

点评:讯飞的产品,看到测评调用工具强,实际上,不如千问。速度能力,都跟不上。

mlx-community/Qwen3.5-9B-MLX-4bit

速度:22 tok/s

点评:终于能正常讲个笑话了。虽然不快,各方面都很稳定。

mlx-community/gemma-4-12B-it-4bit

速度:15 tok/s

点评:中文能力,工具调用,不如千问。写文章比较严谨,似乎比千问好些。

prism-ml/Ternary-Bonsai-2-27B-mlx-2bit

速度:9 tok/s

点评:

这是 PrismML 量化的 QWen 3.8 27B,把参数体积从 56GB 降到了 8GB,可以在 16G 内存上跑起来。

这是唯一知道 HyperFrames 是什么的 QWen 模型。大概因为 3.8 是新出的模型。

笑话讲的更好,能感觉到幽默。

但,说多了就爆内存。这已经到了16G 内存的天花板了,再大的模型,不要想了。

总体来说,模型越大,能力越强,综合来看,QWen 4b 是最佳选择。

图片生成与编辑

black-forest-labs/FLUX.2-klein-4B

速度: 256x256 14s 1024x768 40s

点评:支持生成与编辑,图片品质高,速度快,但中文支持不好。

mlx-community/Qwen-Image-2.1-mflux-q4

速度: 256x256 52s 1024x768 625s

点评:支持生成与编辑,品质较高,速度慢,中文支持良好。

Jiangdi/Z-Image-Turbo-mflux-4bit

速度:256x256 15s 1024x768 120s

点评:仅生成,品质一般,中文支持良好。

语音识别,生成,克隆

mlx-community/SenseVoiceSmall

速度: 36 倍速

点评:语音识别,阿里出品,支持中英日韩奥,速度快,品质稳

mlx-community/whisper-large-v3-turbo-asr-fp16

速度: 12 倍速

点评:语音识别,经典,支持百种语言,品质高

mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit

速度: 2 倍速

点评:语音生成,速度快,支持八种音色

mlx-community/Qwen3-TTS-12Hz-1.7B-CustomVoice-8bit

速度: 1 倍速

点评:似乎比上面的好一点

mlx-community/Qwen3-TTS-12Hz-1.7B-Base-8bit

速度: 2 倍速

点评:声音克隆,速度快,听着挺有那个味儿

mlx-community/IndexTTS-2.5-fp16

速度: --

点评:没有跑起来,这个是专业配音的,据说很好。

视频生成

FastVideo/FastMetal-1.3B-QAD

速度: 256x256 5s 耗时 120s

点评:这是 FastVideo 团队量化的阿里的 Wan 2.1,这大概是唯一能在 16g 内存上勉强能跑的视频生成模型。目前测试 256 能跑,更大尺寸,系统直接暴毙。

总结

Mac mini m4 16g 总体来说,还是挺能打的,常见模型都能跑,有些速度还挺快。

对话,图片理解,生成,编辑,语音识别,生成,克隆,等,都能以可以接受的速度运行,qwen 4b 基本日常简单任务都能胜任。

视频生成,复杂编程,只能体验一下,不能当真干活。

这些测试都是用 X-Studio 跑的,可以直接复制上面的模型名称,在 X-Studio 中下载模型,自己跑一跑。

2026-11-10 15:04:45144 次阅读