实测 18 个本地大模型,Mac mini 16g 还是挺能打的
我在 Mac mini M4 16g 上测试了 18 个大模型,从千问 0.8B,到 27B,从图片理解到图片生成编辑,从音频识别到生成和克隆,甚至视频生成。
总体来说,挺惊喜的,大部分都能做到能用,有些还挺不错,下面逐个说说。
对话
mlx-community/Qwen3.5-0.8B-8bit
速度:110 tok/s
点评:可以简单对话,翻译,执行外部工具失败,讲个笑话,不知所云。
mlx-community/Qwen3.5-2B-OptiQ-4bit
速度:60 tok/s
点评:比 0.8b 强一点,并未有明显突破
mlx-community/Qwen3.5-4B-MLX-4bit
速度:38 tok/s
点评:
Mac mini 16g 内存的最佳拍档。
可以有完整的对话,翻译字幕文件,连续调用工具(MCP),图片理解等。
但讲笑话,只会讲 0 遇见 8,问它干嘛扎腰带。
实测,上下文长度超过 10k,速度便明显慢了。因为缓存兜不住。似乎也是一直能跑。
avan-ag/Qwen3.5-4B-Uncensored-MLX-4bit
速度:39 tok/s
点评:Qwen 4b 的越狱版本,比官方量化版速度稍微快一点,但工具调用,不如前者稳。
mlx-community/Spark-X2.6-4B-OptiQ-4bit
速度:32 tok/s
点评:讯飞的产品,看到测评调用工具强,实际上,不如千问。速度能力,都跟不上。
mlx-community/Qwen3.5-9B-MLX-4bit
速度:22 tok/s
点评:终于能正常讲个笑话了。虽然不快,各方面都很稳定。
mlx-community/gemma-4-12B-it-4bit
速度:15 tok/s
点评:中文能力,工具调用,不如千问。写文章比较严谨,似乎比千问好些。
prism-ml/Ternary-Bonsai-2-27B-mlx-2bit
速度:9 tok/s
点评:
这是 PrismML 量化的 QWen 3.8 27B,把参数体积从 56GB 降到了 8GB,可以在 16G 内存上跑起来。
这是唯一知道 HyperFrames 是什么的 QWen 模型。大概因为 3.8 是新出的模型。
笑话讲的更好,能感觉到幽默。
但,说多了就爆内存。这已经到了16G 内存的天花板了,再大的模型,不要想了。
总体来说,模型越大,能力越强,综合来看,QWen 4b 是最佳选择。
图片生成与编辑
black-forest-labs/FLUX.2-klein-4B
速度: 256x256 14s 1024x768 40s
点评:支持生成与编辑,图片品质高,速度快,但中文支持不好。
mlx-community/Qwen-Image-2.1-mflux-q4
速度: 256x256 52s 1024x768 625s
点评:支持生成与编辑,品质较高,速度慢,中文支持良好。
Jiangdi/Z-Image-Turbo-mflux-4bit
速度:256x256 15s 1024x768 120s
点评:仅生成,品质一般,中文支持良好。
语音识别,生成,克隆
mlx-community/SenseVoiceSmall
速度: 36 倍速
点评:语音识别,阿里出品,支持中英日韩奥,速度快,品质稳
mlx-community/whisper-large-v3-turbo-asr-fp16
速度: 12 倍速
点评:语音识别,经典,支持百种语言,品质高
mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit
速度: 2 倍速
点评:语音生成,速度快,支持八种音色
mlx-community/Qwen3-TTS-12Hz-1.7B-CustomVoice-8bit
速度: 1 倍速
点评:似乎比上面的好一点
mlx-community/Qwen3-TTS-12Hz-1.7B-Base-8bit
速度: 2 倍速
点评:声音克隆,速度快,听着挺有那个味儿
mlx-community/IndexTTS-2.5-fp16
速度: --
点评:没有跑起来,这个是专业配音的,据说很好。
视频生成
FastVideo/FastMetal-1.3B-QAD
速度: 256x256 5s 耗时 120s
点评:这是 FastVideo 团队量化的阿里的 Wan 2.1,这大概是唯一能在 16g 内存上勉强能跑的视频生成模型。目前测试 256 能跑,更大尺寸,系统直接暴毙。
总结
Mac mini m4 16g 总体来说,还是挺能打的,常见模型都能跑,有些速度还挺快。
对话,图片理解,生成,编辑,语音识别,生成,克隆,等,都能以可以接受的速度运行,qwen 4b 基本日常简单任务都能胜任。
视频生成,复杂编程,只能体验一下,不能当真干活。
这些测试都是用 X-Studio 跑的,可以直接复制上面的模型名称,在 X-Studio 中下载模型,自己跑一跑。

