> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 创建自己的离线AI
- URL: https://www.hubwiz.com/blog/create-your-own-offline-ai/
- Published: 2026-09-01T15:24:29.000Z
- Updated: 2026-09-01T15:24:29.000Z
- Description: 这是一份完整的指南，教你如何创建自己的离线AI并直接在Windows PC上运行。你甚至可以从USB驱动器上运行它……
- Author: admin
- Tags: TOOL, #Import 2026-10-14 14:41

这是一份完整的指南，教你如何创建自己的离线AI并直接在Windows PC上运行。你甚至可以从USB驱动器上运行它。为此，我们将使用Llamafile和Qwen GGUF模型。一旦设置完成，你可以在本地使用AI，无需互联网连接。你也可以查看[这个视频。](https://youtu.be/PAlWUHvkqQQ?ref=hubwiz.com)

## 1\. 下载Llamafile和Qwen GGUF模型

为了运行离线AI，我们需要两个文件。首先，从官方GitHub仓库下载最新版本的Llamafile。你可以在下面找到链接。你还需要一个Qwen GGUF模型文件，可以从提供的链接下载。请注意，Qwen模型文件大约2.5 GB大小。

下载链接：[点击这里](https://heyletslearnsomething.com/blog/personal-ai-on-pc?ref=hubwiz.com)

## 2\. 将两个文件放在同一个文件夹中

两个文件下载完成后，在你的PC上任意位置创建一个新文件夹，将Llamafile和Qwen GGUF模型移动到同一个文件夹中。将两个文件放在一起将使设置更加容易。

## 3\. 重命名Llamafile

现在，我们需要重命名Llamafile。只需重命名Llamafile并在文件名末尾添加'.exe'扩展名。例如：'llamafile.exe'

确保文件名正确，因为我们在下一步中将使用这个确切的名称。

![None](https://www.hubwiz.com/blog/content/images/2026/09/1-pe6oGOPjix43xuYdoWXaUw.png)

## 4\. 创建BAT文件

现在我们需要创建一个BAT文件来启动我们的离线AI。为此，打开记事本并输入以下命令： ./llamafile.exe — server — model

（在' — model'参数之后，复制并粘贴Qwen GGUF模型文件的确切名称）。确保Llamafile '.exe'名称和模型文件名称完全正确。

现在，将记事本文件保存为'.bat'文件，放在与Llamafile和Qwen GGUF模型相同的文件夹中。

![None](https://www.hubwiz.com/blog/content/images/2026/09/1-vGPU2gGNZcDKdYdJO1jhrA.png)

## 5\. 运行离线AI

现在一切设置完成，只需双击我们刚刚创建的BAT文件。这将在你的PC上启动离线AI服务器。

启动后，它将为你提供一个本地链接。复制此链接并将其粘贴到你的Web浏览器中。页面打开后，你将拥有自己的离线AI直接从你的PC运行。

![None](https://www.hubwiz.com/blog/content/images/2026/09/1-mM6ClnHve9LUTARIKehuag.png)

## 6\. 使用你的离线AI

你现在可以像使用普通AI聊天机器人一样使用AI。你可以提问、上传文本文件和PDF，并尝试不同的模型和设置。由于所有内容都在你的PC上本地运行，一旦下载了所需的文件，你就无需互联网连接即可使用AI。

![None](https://www.hubwiz.com/blog/content/images/2026/09/1-8H3dVzLXOIhzE_qaOTyEHQ.png)

## 7\. 使用不同的AI模型

如果你想使用另一个模型，只需下载所需的GGUF模型并将其放在同一个文件夹中。然后，使用记事本打开BAT文件，将现有模型名称替换为新GGUF文件的确切名称。保存BAT文件并再次双击它以使用新模型启动AI。

你也可以将整个文件夹复制到USB驱动器并从那里运行，只要PC有足够的存储空间和资源来运行选定的模型。

---

原文链接：[Create Your Own Offline AI | Run AI on Your PC or USB Drive](https://medium.com/@heyletslearnsomething/create-your-own-offline-ai-run-ai-on-your-pc-or-usb-drive-b6e56f1e4ced?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处