COLIBRI

TOOL

Colibri 推理引擎： 权重流式传输

Colibri 将 VRAM、RAM 和 NVMe 视为一个推理层级。这使得前沿规模的混合专家（Mixture-of-Experts）模型可以在较小的机器上运行，但延迟和存储的权衡比头条数字更重要。