LLM-D

TOOL

llm-d：LLM推理负载均衡

轮询调度的工作假设是每个副本对每个请求都提供相同的性能。这对于无状态Web流量来说是成立的，但一旦请求在调用之间共享缓存，这个假设就完全失效了。