Ollama

Ollama 文档

Ollama 是本地运行和管理大语言模型的工具，提供模型下载、命令行交互与本地 HTTP API。默认服务地址为 http://localhost:11434。

安装

macOS

从 Ollama 下载页 获取应用，将其拖入「应用程序」目录并启动。首次启动时会配置 ollama 命令。

Apple Silicon 的 CPU 和 GPU 均受支持；Intel Mac 仅使用 CPU。

Linux

curl -fsSL https://ollama.com/install.sh | sh

模型与会话

# 下载并进入交互式会话
ollama run <模型名>

# 仅下载或更新模型
ollama pull <模型名>

# 查看本地模型
ollama ls

# 查看正在运行的模型
ollama ps

# 停止运行中的模型
ollama stop <模型名>

# 删除模型
ollama rm <模型名>

例如：

ollama run qwen3:8b

自定义模型

Modelfile 用于基于已有模型创建新模型。

FROM qwen3:8b
SYSTEM """你是一个简洁的中文助手。"""

ollama create my-assistant -f Modelfile
ollama run my-assistant

服务与 API

桌面版通常会在后台启动服务；Linux 或手动部署时可执行：

ollama serve

调用本地聊天 API：

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{ "role": "user", "content": "你好" }],
  "stream": false
}'

模型文件可能占用数 GB 以上，下载前应预留磁盘空间。