llama.cpp

纯 C/C++ 跑大模型推理，CPU 也能跑，性能极高的本地推理引擎。12.4万星。

项目 ggerganov/llama.cpp · 语言 C++ · 协议 MIT

make 编译

1. 下 llama.cpp
2. make
3. 下载 GGUF 模型 + ./main 运行

安装：

git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make

使用 / 启动：

./main -m model.gguf -p '提示'

纯 C/C++ 跑大模型推理，CPU 也能跑，性能极高的本地推理引擎。12.4万星。

本地跑量化大模型(GGUF),CPU/GPU 皆可

• MIT。国内可跑。偏底层，一般用户直接用 Ollama 更方便。

• GitHub：ggerganov/llama.cpp
• 更多用法看官方 README 与 docs，踩坑搜 GitHub Issues