DEVOPS 大模型推理加速与服务优化 使用 Triton Inference Server 部署 TensorRT-LLM 并设置与 OpenAI 兼容的 API 可实现高效、高性能的推理大型语言模型。
LIBRARY Instructor-Marvin-Guardrails 本文对比3使用 LLM 进行数据提取的开发库Instructor、Marvin 和 Guardrails的使用方法并通过对比介绍如何选择最适合你的库。
MODEL-ZOO LLaMa-Mesh:文本生成3D网格 NVIDIA 发表了一篇引人入胜的论文 LLaMA-Mesh:使用语言模型统一 3D 网格生成 ,该论文允许使用自然语言生成 3D 网格对象。
APPLICATION 小规模CV任务如何利用基础模型 自2023年以来,人工智能领域将受到来自生成式AI的新成功的冲击,我们将探索是否可以利用这些基础模型来构建数据集、利用新的架构和新的预训练权重,或者从中提取知识。
LIBRARY 用MLX微调医学诊断大模型 本文探讨微调LLM用于医疗诊断预测,硬件为配备 M2 芯片的 Apple Silicon Mac ,使用 LoRA 和 Apple MLX 框架微调,Ollama 运行推理服务。