vLLM

高吞吐、省内存的大模型推理服务引擎，生产部署首选。8.9万星。

项目 vllm-project/vllm · 语言 Python · 协议 Apache-2.0

pip

1. pip install vllm
2. vllm serve 模型

安装：

pip install vllm

使用 / 启动：

vllm serve meta-llama/Llama-3-8B-Instruct

高吞吐、省内存的大模型推理服务引擎，生产部署首选。8.9万星。

高吞吐 LLM 推理服务,OpenAI 兼容 API

• Apache-2.0。需要强 GPU，个人玩家门槛高，偏企业/团队。

• GitHub：vllm-project/vllm
• 更多用法看官方 README 与 docs，踩坑搜 GitHub Issues