VLLM-OMNI

LIBRARY

vLLM-Omni 多模态AI服务框架

现代推理流程不再仅仅依赖于自回归 (AR) 语言模型。这种转变需要一个能够高效处理文本、图像、音频、视频和扩散架构的服务引擎，而无需工程师在多个框架之间切换。