APPLICATION 基于Schema的LLM结构化输出 记者们通过文档转储和白皮书获得 PDF 作为对 FOIA 请求的回应。要使用 PDF,这些记者需要从文档中获取数据并将其转换为易于分析的格式,例如电子表格。该过程可能涉及费力的手动转录或将数据从一种格式复制并粘贴到另一种格式。 从理论上讲,大型语言模型可以协助文档处理,但幻觉等风险和 LLM 输出固有的不确定性使这种方法变得棘手。记者需要确保输出确实包含所需的数据、遵循所需的数据类型并采用可用的格式。 结构化输出为这些挑战提供了解决方案。像 Anthropic 和 OpenAI 这样的提供商以及像 Outlines 这样的开源库允许开发人员定义严格的模式,将 LLM 响应限制在特定字段、数据类型和格式。 结构化输出将原始的 LLM 功能转换为可靠的数据处理管道。例如,从多页 PDF 中提取表格时,模式可确保跨页面的列名和数据类型一致。虽然这种方法不能保证完全准确,但它降低了解析和验证 LLM 响应的工程复杂性,使文档处理工作流更加可靠和易于维护。 模式本质上是一个蓝图,它告诉模型要查找哪些信息以及如何组织这些信息。可以将其想象成一个标准化表格:记者不是让模型以任何格式返回数据,而是提供特定的字段来填写——这是一个日期,这是一个美元金额,另一个应该是是/
LIBRARY Apryse文档提取JS开发包 Apryse 是一款用于文档管理的一体化原生工具包,它提供了用于 Web、移动、客户端和服务器使用的库,涵盖 PDF 查看、注释、编辑、创建、生成,以及与我的需求最相关的:通过其服务器 SDK 提取数据,以 JSON、XML 甚至 XLSX 格式提供数据。
DEVOPS 大模型推理加速与服务优化 使用 Triton Inference Server 部署 TensorRT-LLM 并设置与 OpenAI 兼容的 API 可实现高效、高性能的推理大型语言模型。
LIBRARY Instructor-Marvin-Guardrails 本文对比3使用 LLM 进行数据提取的开发库Instructor、Marvin 和 Guardrails的使用方法并通过对比介绍如何选择最适合你的库。
MODEL-ZOO LLaMa-Mesh:文本生成3D网格 NVIDIA 发表了一篇引人入胜的论文 LLaMA-Mesh:使用语言模型统一 3D 网格生成 ,该论文允许使用自然语言生成 3D 网格对象。
APPLICATION 小规模CV任务如何利用基础模型 自2023年以来,人工智能领域将受到来自生成式AI的新成功的冲击,我们将探索是否可以利用这些基础模型来构建数据集、利用新的架构和新的预训练权重,或者从中提取知识。
LIBRARY 用MLX微调医学诊断大模型 本文探讨微调LLM用于医疗诊断预测,硬件为配备 M2 芯片的 Apple Silicon Mac ,使用 LoRA 和 Apple MLX 框架微调,Ollama 运行推理服务。