用 Ollama 跑本地工具调用 Agent：Qwen3 8B + OpenAI 兼容接口，数据不出本机

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows（PowerShell）
irm https://ollama.com/install.ps1 | iex

# 也可以直接用官方 Docker 镜像 ollama/ollama

# 拉一个支持工具调用的模型（8B 在 16GB 机器上是甜点区）
ollama pull qwen3:8b

# 确认拉好了
ollama list

Ollama 默认在 11434 端口提供两种接口：原生 /api/chat，以及 OpenAI 兼容的 /v1/chat/completions。用后者意味着你以后想切回云端，代码几乎不用改。

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:8b",
    "messages": [{"role": "user", "content": "用一句话介绍你自己"}]
  }'

pip install ollama

# minimal.py
from ollama import chat

r = chat(
    model='qwen3:8b',
    messages=[{'role': 'user', 'content': '用 Python 写一个快速排序'}],
)
print(r.message.content)

对话能跑通不代表工具调用能跑通——这是两件事。用一个带工具定义的最小请求确认一次：

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "查询某个城市的当前天气",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

r = chat(model='qwen3:8b',
         messages=[{'role': 'user', 'content': '北京现在天气怎么样？'}],
         tools=tools)

print(r.message.tool_calls)   # 期望：返回一个 get_weather 调用，而不是普通文本

循环的逻辑只有五步：让模型决策 → 执行工具 → 把结果追加回消息 → 再问模型 → 直到模型给出最终回答。关键是要有步数上限，否则模型可能反复调同一个工具。

import json, ollama

TOOLS_SCHEMA = [/* 同 Step 3 的工具定义 */]
MAX_STEPS = 12

def execute(name, args):
    if name == "get_weather":
        return {"city": args["city"], "temp_c": 24, "condition": "晴"}
    raise ValueError("未授权的工具: " + name)   # 白名单兜底

def run(goal):
    messages = [{"role": "user", "content": goal}]
    for step in range(MAX_STEPS):
        r = ollama.chat(model='qwen3:8b', messages=messages, tools=TOOLS_SCHEMA)
        msg = r.message

        if not msg.tool_calls:            # 没有工具调用 = 这是最终回答
            return msg.content

        messages.append(msg)
        for call in msg.tool_calls:
            name = call.function.name
            args = call.function.arguments or {}
            print("[step %d] 调用 %s(%s)" % (step, name, args))
            result = execute(name, args)
            messages.append({
                "role": "tool",
                "content": json.dumps(result, ensure_ascii=False),
            })
    return "达到最大步数上限，已中止（请检查是否陷入循环）"

print(run("查一下北京的天气，再用一句话总结"))

这是 2026 年本地部署最实用的新玩法：Ollama 内置了 launcher，一条命令就能把本地模型接进主流编码 Agent，不用手工配环境变量。

ollama launch claude    --model qwen3:8b   # Claude Code
ollama launch opencode  --model qwen3:8b   # OpenCode
ollama launch openclaw  --model qwen3:8b   # OpenClaw

# 支持的集成还包括 Codex、Copilot CLI、Droid 等

结果就是：编码 Agent 的交互体验不变，但推理跑在你自己的机器上——不按 token 计费，代码也不出本机。

如果你想手动接 Claude Code，核心是让请求指向本地端点。有三个细节新手最容易踩：

export ANTHROPIC_BASE_URL=http://127.0.0.1:11434
export ANTHROPIC_API_KEY=""
export ANTHROPIC_AUTH_TOKEN=ollama    # 必须写 ollama，留空会连不上
export ANTHROPIC_MODEL=qwen3:8b
export ANTHROPIC_DEFAULT_HAIKU_MODEL=qwen3:8b   # 摘要也用同一个模型，
                                                # 避免同时加载两个模型占满显存
export MAX_THINKING_TOKENS=0          # 关掉 Qwen3 的思考过程，
                                      # 否则每次工具调用前都要等它"想"
export DISABLE_TELEMETRY=1
export CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1

想让它长期生效，就把这些写进 ~/.claude/settings.json 的 env 段。跑起来之后用这条命令看性能：

ollama ps
# NAME          SIZE     PROCESSOR   UNTIL
# qwen3:8b      5.2 GB   100% GPU    4 minutes from now

# PROCESSOR 显示 100% GPU = 加速生效
# 若 CPU 占比很高，说明没吃上显卡加速，速度会差好几倍