创建自己的离线AI

梯形图转SCL | 博途AI辅助编程文档 | AI模型价格对比 | AI工具导航 | ONNX模型库 | Vibe Coding教程 | PLC在线仿真器 | Tripo 3D | Meshy AI | ElevenLabs | KlingAI | ArtSpace | Phot.AI | InVideo

这是一份完整的指南，教你如何创建自己的离线AI并直接在Windows PC上运行。你甚至可以从USB驱动器上运行它。为此，我们将使用Llamafile和Qwen GGUF模型。一旦设置完成，你可以在本地使用AI，无需互联网连接。你也可以查看这个视频。

1. 下载Llamafile和Qwen GGUF模型

为了运行离线AI，我们需要两个文件。首先，从官方GitHub仓库下载最新版本的Llamafile。你可以在下面找到链接。你还需要一个Qwen GGUF模型文件，可以从提供的链接下载。请注意，Qwen模型文件大约2.5 GB大小。

下载链接：点击这里

2. 将两个文件放在同一个文件夹中

两个文件下载完成后，在你的PC上任意位置创建一个新文件夹，将Llamafile和Qwen GGUF模型移动到同一个文件夹中。将两个文件放在一起将使设置更加容易。

3. 重命名Llamafile

现在，我们需要重命名Llamafile。只需重命名Llamafile并在文件名末尾添加'.exe'扩展名。例如：'llamafile.exe'

确保文件名正确，因为我们在下一步中将使用这个确切的名称。

4. 创建BAT文件

现在我们需要创建一个BAT文件来启动我们的离线AI。为此，打开记事本并输入以下命令： ./llamafile.exe — server — model

（在' — model'参数之后，复制并粘贴Qwen GGUF模型文件的确切名称）。确保Llamafile '.exe'名称和模型文件名称完全正确。

现在，将记事本文件保存为'.bat'文件，放在与Llamafile和Qwen GGUF模型相同的文件夹中。

5. 运行离线AI

现在一切设置完成，只需双击我们刚刚创建的BAT文件。这将在你的PC上启动离线AI服务器。

启动后，它将为你提供一个本地链接。复制此链接并将其粘贴到你的Web浏览器中。页面打开后，你将拥有自己的离线AI直接从你的PC运行。

6. 使用你的离线AI

你现在可以像使用普通AI聊天机器人一样使用AI。你可以提问、上传文本文件和PDF，并尝试不同的模型和设置。由于所有内容都在你的PC上本地运行，一旦下载了所需的文件，你就无需互联网连接即可使用AI。

7. 使用不同的AI模型

如果你想使用另一个模型，只需下载所需的GGUF模型并将其放在同一个文件夹中。然后，使用记事本打开BAT文件，将现有模型名称替换为新GGUF文件的确切名称。保存BAT文件并再次双击它以使用新模型启动AI。

你也可以将整个文件夹复制到USB驱动器并从那里运行，只要PC有足够的存储空间和资源来运行选定的模型。

原文链接：Create Your Own Offline AI | Run AI on Your PC or USB Drive

汇智网翻译整理，转载请标明出处