LocalAI

本地方跑大模型的 OpenAI 兼容服务器，CPU 也能跑。4.8万星。

项目 mudler/LocalAI · 语言 Go · 协议 MIT

Docker/二进制

1. 安装 LocalAI
2. 下载模型
3. API 调用

安装：

curl -fsSL https://localai.io/install.sh | sh 或 docker run

使用 / 启动：

./local-ai

本地方跑大模型的 OpenAI 兼容服务器，CPU 也能跑。4.8万星。

本地跑 LLM/多模型,OpenAI 兼容 API

• MIT。国内可用，能跑很多开源模型。比 Ollama 部署稍复杂。

• GitHub：mudler/LocalAI
• 更多用法看官方 README 与 docs，踩坑搜 GitHub Issues