用AI网关保护AI应用

在我们之前的指南中，我们使用Cloudflare Workers构建了一个AI驱动的转录应用程序。现在，让我们探索Cloudflare的AI网关如何增强安全且可扩展的AI应用部署。

AI网关是一个中间件层，连接AI模型与最终用户的应用程序。它简化集成、加速部署，并提供一个可扩展的环境来有效管理AI工作负载。

AI应用程序从持续的数据集成、生命周期管理和优化资源使用中受益。AI网关通过自动版本控制和无缝扩展简化操作。

除了性能之外，它还通过内置的数据加密、身份验证和策略护栏确保强大的安全性与合规性——使其成为生产就绪型AI解决方案的重要工具。

有了AI网关，我们构建的所有AI应用都将通过网关。安全控制和策略将应用于AI网关。这里的主要好处是能够有一个单一的日志记录和可观测性点，从而更容易监控使用情况、检测异常并确保合规性。此外，通过收集到的使用见解，我们可以利用诸如缓存和速率限制等功能来控制应用的扩展。

1、设置AI网关

登录Cloudflare仪表板并导航到Cloudflare的AI网关。在我的示例中已经创建了一个网关，点击“创建”。

命名你的网关并点击“创建”。

要开始将AI网关集成到你的应用中，请在Wrangler.jsonc文件中添加以下绑定：

"ai": {  
  "binding": "AI"  
   }

在我的转录应用中，每当上传音频文件时，我会通过AI网关发送请求。在这里了解更多关于Workers绑定的信息。

2、使用演示

成功上传转录文件后，我们可以导航到Cloudflare的AI网关仪表板查看详细信息。

我们可以看到请求和响应、使用的令牌、与调用相关的成本以及任务的持续时间。在我们的应用中，我们上传了一个音频文件，然后由OpenAI进行转录。在我们的请求中可以看到以数组形式编码的音频文件二进制数据，在响应中可以看到最终的文字输出以及单词计数和详细的单词分解。

此外，我们可以为所有类别或选定类别配置护栏，支持多种响应方式如忽略、标记和阻止。了解更多信息，请阅读关于支持的模型类型的文章。

最后，我们可以选择缓存来自AI的响应（对AI聊天机器人很有帮助），并通过启用速率限制来保护我们的AI应用免受恶意流量的影响。在将AI应用部署到企业时，我们可能希望启用网关的身份验证，以确保只有授权用户可以使用该应用。

3、结束语

在这次简单的演示中，我们探讨了什么是AI网关，它如何帮助你扩展、监控和保护你的AI应用，以及如何无缝地将Cloudflare AI网关集成到现有的工作流中。AI网关提供了一种统一、高效且安全的方式来管理跨应用的AI流量。

原文链接：Protecting AI applications with AI Gateway

汇智网翻译整理，转载请标明出处