TOOL
vLLM 部署大模型：快速上手指南
vLLM 是一个用于快速高效部署大型语言模型（LLMs）的开源库。它特别优化了高吞吐量推理，使其在生产环境中部署语言模型时非常受欢迎。
VLLM
MODEL-ZOO
微调Qwen2.5-VL用于文档理解
本文将检查一个手写数字数据集、对其进行标注，并使用它来创建一个专门用于提取手写文本的微调后的Qwen 2.5 VL。
APPLICATION
视觉语言模型AWS部署指南
本文介绍如何使用Qwen-2.5-VL、vLLM和AWS Batch构建处理数百万份文档的文档解析管道。
APPLICATION
用GRPO算法训练医疗AI模型
大型语言模型（LLMs）与医疗保健的交叉点带来了令人兴奋的机会，但也带来了独特的挑战。在本教程中，我们将探讨如何使用分组相对策略优化（GRPO）——一种最近由DeepSeek团队引入的有前途的新强化学习技术——来适应阿里巴巴的Qwen-3B模型以用于医学推理。 为什么这很重要： * 🏥 患者安全第一：医学AI中的幻觉可能是危险的。 * 💡 领域专业化：通用LLMs难以处理临床推理。 * ⚡ 效率：我们的3B参数模型可以在消费级GPU上运行。 推理模型如O3和DeepSeek R1在许多具有挑战性的基准测试中显示了前所未有的改进。它们改变了监督微调的趋势，转向实际的强化学习（RL）。我们在深度学习领域的许多突破都来自RL，例如AlphaGo，因为模型能够通过与不同的现实场景互动来学习，而这些场景在监督微调中往往难以提供示例。 如果你想了解更多关于推理模型或更多历史细节，我强烈推荐Maarten的文章[2]。DeepSeek工作的美妙之处在于他们实现了一个实用的框架，用于使用GRPO对LLM进行微调。根据Maarten的文章： 这个算法背后的直觉是，它使所有导致正确或错
TOOL
vLLM/ollama综合对比
本文比较vllm和ollama在不同场景中的表现。我们将重点关注：资源利用率和效率、部署和维护的简易性、具体用例和建议、安全和生产准备、文档。
TOOL
VLLM vs. Ollama
大型语言模型 (LLM) 的兴起改变了 AI 驱动的应用程序，开发人员依赖于优化的推理框架，这个领域的两个杰出解决方案是 VLLM 和 Ollama。
TOOL
本地运行大模型的5个工具
在本指南中，我们将重点介绍5个在大模型本地服务领域取得进展的著名项目：VLLM、LLAMA CPP Server 、SGLang、Ollama和TGI。
TOOL
VerifAI开源生成式搜索引擎
最初，VerifAI 是作为具有参考和 AI 验证答案的生物医学生成搜索而开发的，现在可以索引本地文件并将其转换为自己的生成式搜索引擎。
MODEL-ZOO
MiniCPM-V端侧多模态大模型
MiniCPM-V 是一系列高效的 MLLM，旨在在手机和个人电脑等端侧设备上运行，使其成为各种 AI 应用程序的强大工具。
LIBRARY
vLLM 大模型本地推理库
vLLM 是一个开源项目，允许你进行 LLM 推理和服务。本文介绍如何配置和运行 vLLM 以在生产中提供开源大模型的推理服务。
MODEL-ZOO
Llama-3.1微调实现函数调用
本文探讨如何使用 Unsloth微调 Llama-3.1–8B 模型以实现函数调用功能，并使用 vLLM 进行高性能模型推理和服务。
LIBRARY
14个最常用的LLM框架
LLM 框架的主要目的是促进各种 AI 驱动任务的顺利运行，这些任务可能包括从检索信息和微调模型到无缝执行一系列操作。