xLLM 高效的开源大模型推理框架

xLLM 是一个高效的开源大模型推理框架，专为国产芯片优化设计，提供企业级的服务部署，使得性能更高、成本更低。 该框架采用服务-引擎分离的推理架构，通过服务层的在离线请求弹性调度、动态PD分离、...