> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# AI代理聚焦工具利用
- URL: https://www.hubwiz.com/blog/ai-agent-focus-tool-use/
- Published: 2024-11-15T07:26:42.000Z
- Updated: 2024-11-15T07:33:14.000Z
- Description: AI代理的重点正在从简单地开发自主AI代理转向增强可用的工具，这直接影响它们的功能和灵活性。
- Author: admin
- Tags: AGENT, TOOL USE, OPEN AI, ANTHROPIC, #Import 2026-10-14 14:41

AI 代理的功能和覆盖范围在很大程度上取决于工具访问，工具以自然语言描述并通过代理的内部推理激活。

桌面和其他用户特定环境提供了代理有效执行任务所需的丰富背景，使其成为理想的操作空间。

## 1、简介

随着模型成为实用工具，支持工具的框架和环境正在成为关键，领先的 AI 公司如 OpenAI 和 Anthropic 正在探索使用计算机 GUI 导航完成复杂任务的 AI 代理。

最近，OpenAI 还宣布准备发布名为 Operator的AI 代理，它将在用户的计算机上自主执行任务，例如编码和预订旅行，将于 1 月作为研究预览提供。

此版本与整个行业转向更强大的 Agentic 工具相一致，这些工具可以在最少的监督下管理多步骤工作流程。

其他主要参与者也在推出能够实时计算机导航的代理工具，这反映了通过工具访问增强 AI 代理能力而不是简单地提高模型能力的战略举措。

## 2、Anthropic 的“计算机使用”

Anthropic 提供了一个参考实现，其中包括快速开始使用计算机所需的一切。

![](https://www.hubwiz.com/blog/content/images/2024/11/image-1109.png)

上图显示了在我的桌面上运行的 AI 代理，我必须在我的 MacBook 中安装 Docker 并将 docker 映像部署到我的机器上。

下面显示的脚本部署实例并启动它：

```
export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=<Your Anthropic API Key Goes Here> \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
```

下面是我运行文件的终端窗口的屏幕截图……

![](https://www.hubwiz.com/blog/content/images/2024/11/image-1112.png)

Anthropic的实现包括：

- 适合与 Claude 一起使用计算机的[容器化环境](https://github.com/anthropics/anthropic-quickstarts/blob/main/computer-use-demo/Dockerfile?ref=hubwiz.com)
- [计算机使用工具](https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo/computer%5Fuse%5Fdemo/tools?ref=hubwiz.com)的实现
- 与 Anthropic API 交互并执行计算机使用工具的[代理循环](https://github.com/anthropics/anthropic-quickstarts/blob/main/computer-use-demo/computer%5Fuse%5Fdemo/loop.py?ref=hubwiz.com)
- 与容器、代理循环和工具交互的Web界面。

## 3、Anthropic AI 代理详细信息

![](https://www.hubwiz.com/blog/content/images/2024/11/image-1111.png)

Anthropic AI 代理可以访问三个主要工具/函数，使我能够与 Ubuntu 虚拟机环境进行交互：

`computer` 函数：

- 这是与 GUI 环境交互的主要界面
- 允许 AI 代理执行鼠标和键盘操作，例如：
- 移动光标 (mouse\_move)
- 单击 (left\_click、right\_click、middle\_click、double\_click)
- 键入文本 (type)
- 按键盘组合键 (key)
- 截取屏幕截图 (screenshot)
- 显示分辨率设置为 1024x768
- 显示器编号为 :1
- AI 代理需要在单击元素之前通过屏幕截图检查坐标

`bash` 函数：

- 允许 AI 代理访问 bash shell 以运行命令
- 状态在命令之间保持不变
- 可以通过 apt 和 pip 安装软件包
- 可以运行后台进程
- 对于 GUI 应用程序，需要设置 `DISPLAY=:1` 环境变量

`str_replace_editor` 函数：

- 允许的文件操作工具：
- 查看文件和目录（查看）
- 创建新文件（创建）
- 替换文件中的文本（str\_replace）
- 在特定行插入文本（插入）
- 撤消编辑（undo\_edit）
- 在操作中保持状态

一些重要的限制包括：

- 无法在社交媒体/通信平台上创建帐户
- 无法在没有用户帮助的情况下处理 CAPTCHA/reCAPTCHA
- 无法在没有用户指导的情况下同意服务条款
- 无法在社交媒体上发表评论/反应
- 无法访问选民登记或选举基础设施数据

系统在 aarch64 架构 Ubuntu VM 上运行，我通过笔记本电脑上的 Docker 容器运行它。

> 这些工具为 AI 代理提供了一种受控但灵活的方式与虚拟环境交互，结合了 GUI 交互、命令行操作和文件操作功能。

我的环境为每个会话都进行了全新初始化，但在工具调用期间保持会话内的状态。

AI 代理可以通过 Firefox 使用互联网，并根据需要通过包管理系统安装其他软件。

---

原文链接：[The Focus Is Shifting From AI Agents To AI Agent Tool Use](https://cobusgreyling.medium.com/the-focus-is-shifting-from-ai-agents-to-ai-agent-tool-use-a84fc061eec8?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处