LIBRARY
AutoGen 是 Microsoft 的一个开创性项目，它使用户能够根据需要创建任意数量的自主 ChatGPT 类代理。
vLLM 是一个开源项目，允许你进行 LLM 推理和服务。本文介绍如何配置和运行 vLLM 以在生产中提供开源大模型的推理服务。
