本地部署开源大模型：Ollama 私有化推理 + 离线 Agent 实战

Ollama 支持 macOS / Linux / Windows（WSL2）。官方一键安装后，它会作为一个本地服务常驻（默认监听 11434 端口）。

# macOS / Linux 一行安装
curl -fsSL https://ollama.com/install.sh | sh

# 启动服务（安装后通常会自动启动，可手动确认）
ollama serve

# 拉取一个通用中文友好的模型（Qwen2.5 7B 是性价比之选）
ollama pull qwen2.5:7b

# 想跑更强的代码模型，可再拉一个
ollama pull qwen2.5-coder:7b

# 验证：直接对话
ollama run qwen2.5:7b "用一句话解释什么是向量数据库"

Ollama 启动后自带 OpenAI 风格兼容接口。你之前写给云端 API 的代码，几乎不用改就能指向本地。

# 方式一：curl 直接调
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "把下面这段中文润色成正式邮件：周一开会",
  "stream": false
}'

# 方式二：Python（无需额外依赖，用标准库即可）
import urllib.request, json

def local_chat(prompt, model="qwen2.5:7b"):
    payload = json.dumps({
        "model": model,
        "prompt": prompt,
        "stream": False
    }).encode("utf-8")
    req = urllib.request.Request(
        "http://localhost:11434/api/generate",
        data=payload,
        headers={"Content-Type": "application/json"}
    )
    with urllib.request.urlopen(req) as r:
        return json.loads(r.read().decode("utf-8"))["response"]

print(local_chat("用 Python 写一个快速排序"))

纯本地模型容易"一本正经胡说"。给它接上你的私有文档（合同、手册、代码库），用 RAG（检索增强生成）补足事实。下面用 Ollama 的 embedding 接口 + 轻量向量库 Chroma 实现最小可用版。

# 先装向量库
pip install chromadb

import chromadb, urllib.request, json

chroma = chromadb.Client()
col = chroma.create_collection("kb")

def embed(text):
    payload = json.dumps({"model": "nomic-embed-text", "input": text}).encode()
    req = urllib.request.Request("http://localhost:11434/api/embeddings",
        data=payload, headers={"Content-Type": "application/json"})
    return json.loads(urllib.request.urlopen(req).read())["embedding"]

# 1) 入库：把你自己的文档切成片段后写入
docs = ["公司年假政策：入职满1年享5天...", "报销流程：先填单后审批..."]
for i, d in enumerate(docs):
    col.add(ids=[str(i)], documents=[d], embeddings=[embed(d)])

# 2) 检索 + 生成
q = "年假怎么算？"
hits = col.query(query_embeddings=[embed(q)], n_results=2)["documents"][0]
ctx = "\n".join(hits)
print(local_chat(f"根据以下资料回答问题：\n{ctx}\n\n问题：{q}"))

模型本身只会"说话"，Agent 的价值在于"能调用工具"。下面用 Ollama 的 tool-calling 能力写一个最小循环：模型决定调哪个函数，代码执行后把结果喂回去。

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "查询某城市天气",
        "parameters": {"type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"]}
    }
}]

def get_weather(city):
    return f"{city} 今天 26°C，多云"

# 最小 Agent 循环
messages = [{"role": "user", "content": "北京天气怎么样？"}]
while True:
    resp = call_ollama_with_tools(messages, tools)  # 封装 /api/chat + tools
    if resp.get("tool_calls"):
        for call in resp["tool_calls"]:
            fn = call["function"]
            result = get_weather(fn["arguments"]["city"])
            messages.append({"role": "tool", "content": result})
    else:
        print(resp["content"]); break

本地部署最常见的坑是"显存爆了"或"卡得像 PPT"。几个立刻见效的优化：

# 1) 用量化版省显存（q4_K_M 是 7B 的甜点）
ollama pull qwen2.5:7b-q4_K_M

# 2) 限制并发上下文，避免多轮对话撑爆内存
ollama run qwen2.5:7b-q4_K_M --num_ctx 4096

# 3) 没有独显？用 CPU 卸载（慢但能跑）
# 在 Modelfile 里设置，或运行时加环境变量
OLLAMA_NUM_PARALLEL=1 OLLAMA_MAX_LOADED_MODELS=1 ollama serve