DEVOPS
大模型推理加速:服务优化与吞吐提升
使用 Triton Inference Server 部署 TensorRT-LLM 并设置与 OpenAI 兼容的 API 可实现高效、高性能的推理大型语言模型。
DEVOPS
使用 Triton Inference Server 部署 TensorRT-LLM 并设置与 OpenAI 兼容的 API 可实现高效、高性能的推理大型语言模型。
APPLICATION
本文分享我们如何构建我们的 LLM 语音应用程序并将其集成到忏悔室的交互式展台中。
APPLICATION
如何使用 Milvus 构建自己的多模态 RAG 系统,并利用GPT-4o语言模型来优化输出。
LIBRARY
aisuite为AI应用开发者提供简单、统一的多个生成式 AI 提供商接口。
APPLICATION
填写表格是一项枯燥且耗时的任务。如果我们可以创建一个可以为我们填写表格的 AI 助手,让我们将时间投入到更有建设性的任务中,那会怎样?
APPLICATION
人工智能代理(AI Agent)的兴起正在重塑我们构建和思考软件的方式。我们现在不只是编写代码并指导计算机做什么,而是教它们如何思考。
APPLICATION
本文演示了如何构建一个数据可视化系统,该系统使用 LangChain 和 LLM 将查询转换为交互式可视化见解。
APPLICATION
在这篇文章中,我想分享我对 AI 生成的报告的了解,以及如何使这些报告更可靠、更实用。
LIBRARY
本文对比3使用 LLM 进行数据提取的开发库Instructor、Marvin 和 Guardrails的使用方法并通过对比介绍如何选择最适合你的库。
LIBRARY
ExtractThinker是一个灵活的文档智能库,可帮助你从各种文档中提取和分类结构化数据,就像文档处理工作流的 ORM 一样。
MODEL-ZOO
NVIDIA 发表了一篇引人入胜的论文 LLaMA-Mesh:使用语言模型统一 3D 网格生成 ,该论文允许使用自然语言生成 3D 网格对象。
PROMPT ENGINEERING
在本文中,我们将探讨提示工程中的几种技术,这些技术可以帮助优化 LLM 在不同任务中的性能。