> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# LMCache：KV缓存管理
- URL: https://www.hubwiz.com/blog/lmcache-kv-cache-management/
- Published: 2025-08-17T02:21:41.000Z
- Updated: 2025-08-17T02:21:41.000Z
- Description: 随着LLM的规模和使用量不断增加，有一件事是明确的：高效的键值（KV）缓存管理不再是可选的——而是必不可少的。
- Author: admin
- Tags: TOOL, LMCACHE, #Import 2026-10-14 14:41

**LMCache不仅仅是一个KV缓存系统——它正在成为KV缓存系统。**

从开源到企业，从Red Hat到Kubernetes再到NVIDIA和Moonshot，表现最好的LLM推理堆栈都在押注LMCache。如果你正在构建可扩展、高速或成本效益高的系统，那么可能也是时候这样做。

随着LLM的规模和使用量不断增加，有一件事是明确的：**高效的键值（KV）缓存管理不再是可选的——而是必不可少的。**

无论你是在运行一个长上下文聊天机器人、文档摘要器还是多租户API后端，性能都取决于你在计算节点之间如何管理KV缓存。在过去几个月里，这个领域出现了一个明显的领导者：[LMCache](https://github.com/lmcache/LMCache?ref=hubwiz.com).

> 为什么KV缓存比以往任何时候都更重要

现代基于Transformer的LLM如LLaMA、Mixtral和DeepSeek需要持久化的注意力键/值缓存来高效地处理长提示。但这些缓存是有代价的：**GPU内存压力**、**重新计算延迟**和**路由复杂性**。

这就是**LMCache**发挥作用的地方——一个专为LLM推理设计的分布式KV缓存引擎。它支持：

- 多GPU共享
- CPU卸载
- 分离计算（预填充/解码拆分）
- 持久化KV重用
- 前缀感知路由

它速度快、内存效率高，并且可以无缝集成到现有堆栈中。

> 谁在使用LMCache？

让我们看看一些最近的采用者和集成案例，这些案例巩固了LMCache作为该领域*事实上的*标准的地位：

## 1、vLLM

![](https://www.hubwiz.com/blog/content/images/2025/08/image-262.png)

开源社区长期以来一直依赖于vLLM来进行快速、高效的LLM推理。但随着LMCache进入vLLM生产堆栈，性能水平达到了新的高度。通过支持**分离的预填充和解码**、**多GPU对等KV共享**和**CPU卸载**，vLLM + LMCache可以说是目前可用的最强大的开源推理堆栈。

企业级？检查。开源？检查。LMCache？当然。

## 2、KServe

![](https://www.hubwiz.com/blog/content/images/2025/08/image-263.png)

KServe在其0.15版本中集成了LMCach

在Kubernetes生态系统中，**KServe**是历史悠久的部署框架之一，最近在其[0.15版本](https://kserve.github.io/website/master/blog/articles/2025-05-27-KServe-0.15-release/?ref=hubwiz.com)中增加了**LMCache**支持。这一添加使KServe能够以显著提高的吞吐量和延迟保证处理长上下文LLM工作负载——这对实时推理尤其关键。了解更多关于LMCache集成的信息[这里](https://kserve.github.io/website/0.15/modelserving/v1beta1/llm/huggingface/kv%5Fcache%5Foffloading/?ref=hubwiz.com#overview)。

```
apiVersion: serving.kserve.io/v1beta1  
kind: InferenceService  
metadata:  
  name: huggingface-llama3-lmcache  
spec:  
  predictor:  
    minReplicas: 2  
    model:  
      modelFormat:  
        name: huggingface  
      args:  
        - --model_name=llama3  
        - --model_id=meta-llama/meta-llama-3-70b  
        - --kv-transfer-config  
        - '{"kv_connector":"LMCacheConnectorV1", "kv_role":"kv_both"}'  
        - --enable-chunked-prefill

```

## 3、Red Hat llm-d

![](https://www.hubwiz.com/blog/content/images/2025/08/image-264.png)

llm-d 使用 lmcache 提供可插拔的缓存用于之前的计算

Red Hat最近宣布的[**llm-d**](https://llm-d.ai/?ref=hubwiz.com)是一个专为分布式推理而设计的Kubernetes原生框架。在其架构中，最引人注目的部分就是——**LMCache**。

llm-d 使用与分离服务中使用的vLLM KV连接器API相同，为之前的计算提供可插拔缓存，包括将KVs卸载到主机、远程存储和像LMCache这样的系统。更多细节，请参阅他们的文档：[llm-d Prefix Caching Northstar](https://docs.google.com/document/d/1d-jKVHpTJ%5Ftkvy6Pfbl3q2FM59NpfnqPAh%5F%5FUz%5FbEZ8/edit?tab=t.0&ref=hubwiz.com#heading=h.6qazyl873259)

## 4、NVIDIA Dynamo

甚至连NVIDIA也在投入。他们内部的推理系统[**Dynamo**](https://github.com/ai-dynamo/dynamo?tab=readme-ov-file&ref=hubwiz.com)，使用LMCache作为现成的替代品，以提升KV缓存处理能力。有了LMCache，他们能够完全分离预填充和解码阶段，优化GPU计算周期，并更好地协调跨节点的推理调度。

## 5、Mooncake

![](https://www.hubwiz.com/blog/content/images/2025/08/image-265.png)

这些结果清楚地说明了LMCache和Mooncake的协作集成如何通过KV缓存重用显著提高延迟、吞吐量和整体系统效率。

LMCache还与[**Mooncake**](https://github.com/kvcache-ai/Mooncake?ref=hubwiz.com)集成，这是一个面向[Kimi](https://kimi.ai/?ref=hubwiz.com)的部署平台。Mooncake和LMCache共同创建了一个混合内存模型，提高了LLM部署系统的效率，使其能够处理各种工作负载并满足苛刻的延迟要求。

## 6、结束语

未来的LLM部署堆栈将是快速、分布和分离的。在那个未来，有效地管理KV缓存不再是可选的——而是基本要求。

---

原文链接：[LMCache Is Becoming the De Facto Standard for KV Cache Management in LLM Inference](https://medium.com/@kobeeee/lmcache-is-becoming-the-de-facto-standard-for-kv-cache-management-in-llm-inference-a8b708432d3c?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处