> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 我测试了100多个LLM，这9个疯了
- URL: https://www.hubwiz.com/blog/i-tried-100-plus-llms-and-these-9-are-insane/
- Published: 2026-08-26T16:13:55.000Z
- Updated: 2026-08-26T16:13:55.000Z
- Description: 大多数都是垃圾——这9个是每个用途的最佳LLM，而且没有一个会偷偷上传数据。
- Author: admin
- Tags: MODEL-ZOO, #Import 2026-10-14 14:41

上周我做了一件*稍微*有点疯狂的事。我把**所有**AI模型从我的基础款M4 Mac mini上清掉了——一共39GB——然后从零开始。

接着我连续几个晚上做了更疯狂的事：在同一台599美元的小盒子上一个接一个地下载和测试模型，只为回答一个问题——

> *"哪些本地AI真正值得留在苹果最便宜的Mac上？"*

大多数都是垃圾。太大放不进16GB，太慢没法用，或者干脆很蠢。但其中有九个？它们让我坐直了身子，心想\*"等等，我的mini能做这个？"\*

每一个都**完全离线运行**。没有云端。没有月费。没有账号。没有任何东西离开你的桌面。

我所有数据都是在*这台确切的机器*上测量的——基础款16GB M4 mini——关闭了后台应用，所以这不是某个评测者64GB Mac Studio的数据冒充mini的。（为什么这很重要，后面会说。）

让我给你介绍这九个。

## 1、先说实话（不读这个你之后会生我的气）

16GB是*紧张的*。句号。一次只能运行**一个**重型模型。

把它想象成单车道厨房，不是自助餐。加载一个聊天模型，用它，关掉，*然后*加载图像模型。如果你试图同时运行两个大的，整个系统就会开始喘不过气。

另外：你在网上找到的几乎每个"M4 Mac mini AI基准测试"实际上都是M4 **Pro**或Mac Studio——内存带宽是基础款的2-4倍。

所以那些速度数字在基础款芯片上是幻想。下面的所有数据都是在真正的基础款M4上测量的。这种诚实正是重点。

**在基础款16GB M4 mini上测量的真实tokens/sec**

好吧？好的。开始。

> 大脑（文本）

## 1、你的离线ChatGPT — Qwen3.5–9B

我不喜欢我那些半成品的凌晨2点问题永远存在于某个公司服务器上的想法。所以我首先想要的是一个能关闭Wi-Fi运行的正经聊天机器人。

获胜者是**Qwen3.5–9B**。它只有6.6GB，留出足够的RAM，在我的mini上能输出**18 tokens/sec**——比你阅读的速度快得多。

我让它解释，就像一个风趣的合著者，为什么16GB mini能运行90亿参数模型但30亿的就不行——它的回答击中了要点：

**Qwen3.5–9B在基础款M4 mini上以18 tok/s回答为什么9B模型能运行但30B不行："把你的RAM想象成厨师的操作台。只有16GB时，你可以舒适地为九种食材的食谱切菜。但同时处理三十种调料，突然间你的工作空间就溢出了；你只是试图不把所有东西都打翻就掉了工具。更多空间让它能做更大的梦，而不仅仅是更努力地工作。"**

震撼吧？这是*本地*运行的。

最棒的是，如果你想要更大的大脑，**gpt-oss:20b**（OpenAI的开源模型）也能放进去——这是你能塞进16GB的最聪明的东西，能达到**24 tok/s**。

但问题是：它在回答前会*思考出声*（我看到它在一个问题上烧掉了约1300个token的推理），所以即使它很快，*感觉*也更慢。最大的≠最好的。

日常聊天，Qwen3.5–9B是最佳平衡点；要即时的单句回复，降到**Llama 3.2 3B**（惊人的**48 tok/s**）。

**运行方式：**

- [LM Studio](https://lmstudio.ai/?ref=hubwiz.com) — 免费（`brew install --cask lm-studio`），基本上是本地模型的ChatGPT窗口。
- 终端用户：[Ollama](https://ollama.com/?ref=hubwiz.com)（`brew install ollama`）。用我那篇VRAM文章里的有线内存技巧挤进gpt-oss。

## 2、永不离开Mac的编程伙伴 — qwen2.5-coder-7B

我不会过度吹嘘这个，因为其他人都会。在16GB上你无法运行完整的代理编码模型——好的模型（30B+）根本放不下。任何告诉你相反的人其实都悄悄用着64GB机器。

你*能*运行且运行良好的是**qwen2.5-coder-7B**（4.7GB，**22.7 tok/s**）。

它是一个很棒的代码片段和自动补全伙伴。我让它写一个查找文件夹中最大文件的函数，它返回了干净、可运行的Python——不需要手把手：

**qwen2.5-coder-7B在mini上的回复：一个largest\_files(folder, n=5)函数，用os.walk递归遍历文件夹，格式化每个文件大小为MB，跳过抛出PermissionError的文件，返回按大小降序排列的前n个最大文件**

最棒的是，它在飞机上也能离线完成这个。只是别让它重构你的整个代码库——那是24GB+的工作量，老实说仍然比不上Claude。

## 3、总结任何东西 — Qwen3.5–9B

和[#1](#6674)是同一个模型，只是换了顶帽子。粘贴一大段文字，它会给你要点。

老实说，问题不在模型——在于内存。那些"256K上下文！"的说法在mini上是理想状态；实际上在RAM用完前你只能用8K–32K token的有效上下文，所以大段转录要分块处理。

我给它一段凌乱的站会记录，让它提取三个待办事项和负责人：

**Qwen3.5–9B把凌乱的站会笔记变成三个行动项——1\. 续签CI证书（Marco）。2\. 撰写入职文案（Sam）。3\. 邮件通知beta测试者延期（Priya）。**

不性感。但极其有用。

最棒的是——这很有趣——你可以*链式*调用：先转录会议（见[#8](#a1c6)），然后把转录稿直接喂给这个。

你的Mac刚刚把一小时的闲聊变成了待办清单，离线完成。（对于需要精确度的密集报告，**Gemma 4 12B**是稍好但稍慢的替代品。）

> 你自己的数据 

## 4、只知道你文件的私人ChatGPT — 本地RAG

这是让一个朋友说\*"好吧这真的是巫术"\*的功能。你把一个应用指向你的PDF和笔记堆，然后你就…提问。关于你的东西。什么都不会上传。

底层是两个模型：一个聊天大脑（又是Qwen3.5–9B）加上一个小型**嵌入模型**——**Qwen3-Embedding-0.6B**——负责实际的"找到正确段落"魔法。

在我的快速测试中，相关问题得分0.72相似度，不相关的0.34——正是你想要的差距。

最棒的是，你不需要碰任何管道。下载[RecurseChat](https://recurse.chat/?ref=hubwiz.com)（一次性19.99美元，App Store），拖入你的PDF，然后提问——答案甚至会带引文回溯到源页面。

**RecurseChat回答PDF中的一个问题**

或者免费替代品：[LM Studio的文档聊天](https://lmstudio.ai/docs/app/basics/rag?ref=hubwiz.com)，或[AnythingLLM](https://anythingllm.com/?ref=hubwiz.com)。

诚实的局限：它擅长\*"找到并引用这个具体内容"\*，在综合多份文档方面较弱。纯图像扫描需要先OCR——方便的是，那就是[#7](#e12f)。

## 5、离线私密翻译 — Gemma 4 12B

对于快速旅行短语，macOS 26内置的**Apple Translate**已经能离线工作且免费——下载语言包就行。

但当语气重要时，本地LLM的*人类感*是短语书应用做不到的。我给**Gemma 4 12B**一段抱怨的英文，让它"像朋友实际发短信那样翻译"：

**Gemma 4 12B通过ollama在基础款M4 Mac mini上运行，完全离线，13.3 tokens/s，把英文文本"呃，我的笔记本风扇又像喷气发动机了。觉得它终于要挂了，还是只是那47个Chrome标签页？"翻译成地道的法语——"Pfff, mon ordi fait un bruit de moteur d'avion encore une fois… ou c'est juste mes 47 onglets Chrome ?"**

那个"Pfff"是*厨师之吻*。教科书翻译器不会写"Pfff"。最棒的是，它能一次翻译*并*总结一篇外文文章。

诚实提示：对于稀有语言，专用模型如MADLAD-400覆盖400多种；是的，DeepL在欧洲大语对上仍然略胜一筹。但这些都不能在你厨房里关掉Wi-Fi运行。

> 感官（图像、视觉、语音）

## 6、你的免费离线Midjourney — FLUX.2 klein

今天就取消一个订阅。

**FLUX.2 klein**能本地生成真正好的图像，免费——其许可证甚至允许商业使用。

在我的基础款mini上，4位量化4步运行：**512×512约18秒每张，1024×1024约57秒**。而且——这连*我*都惊讶——完整的1024×1024渲染*没有*内存不足，网上一半人发誓16GB上不可能。（首次启动加载时慢；之后就嗡嗡运行。）

最棒的是，这个应用一键安装：[Draw Things](https://drawthings.ai/?ref=hubwiz.com)，Mac App Store免费，专为Apple Silicon优化。输入提示，点击生成，看你的Mac画画。

这是它给我生成的一张：

**FLUX.2 klein在基础款M4 mini上本地生成的图像**

确切提示是：*极简编辑插画，黄昏时木质书桌上一台发光的Mac mini，温暖的琥珀色光线溢出，深青到海军蓝渐变背景，柔和胶片颗粒，大量留白，电影感*。

避开陷阱：FLUX.2 **dev**需要64GB，"Sana"明确禁止在非Nvidia GPU上运行。klein是那个能放下的。

## 7、"嘿Mac，读这个截图" — Qwen3-VL-4B

这个感觉像作弊。拖入截图、收据、图表、菜单照片——模型就*读*出来了。

**Qwen3-VL-4B**是首选：只有3.3GB，是我测试中*最快的*，达到**31.7 tok/s**——而且完美无误。

- 我给它一张收据图片，它提取了每一行项目和正确的总计（21.16）。

**Qwen3-VL-4B读取的收据——它得到了每一行和21.16的总计**

- 我给它一个柱状图，提示中没有数字，它回答：

> "这个柱状图衡量月活跃用户数，单位是千。最高是5月，90千；最低是1月，40千。"

**Qwen3-VL-4B读取的图表——它说是5月=90，1月=40**

完全正确。它读出了*图表*。

最棒的是，一个模型同时做普通描述*和*OCR——从扫描页面、手写笔记、拍摄的标识中提取文字。和[#5](#c281)链式调用，你就有了一个离线的"对着外国菜单拍照→理解它"机器。

**运行方式：** LM Studio（用MLX构建版本，这样视觉功能才能在Mac上工作）。对于严肃的文档数字化（表格、数学），加上**olmOCR 2**。

## 8、转录数小时音频，比实时更快 — Parakeet

如果从这篇文章只记住一件事，记住这个：**你的Mac转录音频比大多数付费服务更好更快，离线运行。**

冠军是**NVIDIA Parakeet TDT 0.6B v3**。我在mini上测到**16.9倍实时速度**——也就是说一小时音频大约**三分半钟**就能转录完——转录稿近乎完美。（我在短片段上测的；这个速率对长文件同样成立。）

OpenAI的**Whisper large-v3-turbo**是替代选择（9.4倍实时，对非欧洲语言更好）。

最棒的是：

- 如果你是非技术用户：[MacWhisper](https://goodsnooze.gumroad.com/l/macwhisper?a=5026131&ref=hubwiz.com)（联盟链接；或superwhisper）把两个引擎包装在友好的窗口里——拖入文件，或指向文件夹，它会批量处理。设备上，永远。
- 如果你偏好终端，`brew install whisper-cpp`是免费路线。

这是每个人都能用的功能——会议、讲座、语音备忘、访谈、那45分钟你想快速浏览的播客。

把转录稿喂给[#3](#4579)，你的Mac还能总结它。*酷吧？*

**Parakeet在约3.5分钟内转录一小时音频，离线运行**

## 9、给你的Mac一个声音 — Kokoro & Chatterbox

最后来个有趣的。你的mini能*说话*——而且，令人不安地，用别人的声音说话。

**朗读文本**方面，**Kokoro**是一个8200万参数的小奇迹（Apache许可证，约0.3GB），听起来惊人地自然。

在我的mini上，它以**2.9倍实时速度**生成语音——文字出来的速度比你说的还快。最简单的应用：**Kokori**，基于Kokoro的免费菜单栏应用。

**声音克隆**方面，**Chatterbox**（MIT许可证）能从几秒钟的参考音频复制声音——而且它真的有效，这既惊人又令人不安。

不过诚实警告：在16GB mini上它*很慢*——我的克隆大约**两分钟才能渲染六秒钟**语音。是需要耐心的爱好，不是一键派对把戏。

最棒的是，把[#3](#4579) \+ [#9](#3aa5)变成链式调用：总结一篇长文章，然后让你的Mac像个人播客一样把总结读给你听——离线，散步时，手机放在口袋里。

## 10、诚实的结论

91个模型没有入选。这九个入选了——它们一起把苹果卖的最便宜的Mac变成了一台私人AI工作站，能聊天、编码、总结、读取你的文件、翻译、绘画、看见、转录和说话。

全部离线。全部免费。全部属于你。对于一台"本该"只是媒体服务器的599美元盒子来说，不错吧？

---

原文链接：[I Tried 100+ LLMs on M4 Mac mini — These 9 Are INSANE](https://freedium-mirror.cfd/https://medium.com/macoclock/i-tried-100-llms-on-m4-mac-mini-these-9-are-insane-772306e6eca3?source=home%5Ffor%5Fyou---------14-99--------------------e3a418a7%5F70f4%5F4139%5F9e3b%5Feba189ca5a9f-------15-------)

汇智网翻译整理，转载请标明出处