入门

用智谱 Open-AutoGLM 让 AI 替你刷手机：一句话下单、比价、回消息

2026.07.26· 7 个步骤 · 18 分钟阅读· 📱 Open-AutoGLM

每天打开微信回消息、切淘宝比价、上小红书搜攻略……手指都快戳出火星子了。如果告诉你，现在有一款开源框架，能让手机「听懂人话」，自己完成这些重复操作，你信吗？2026 年 7 月智谱 AI 正式开源的 Open-AutoGLM 手机智能体就是干这个的——你看屏幕、它做规划、它动手干，你只管下命令。本教程从环境到跑通第一个「动嘴不动手」的手机任务。

📱 本教程适合：想把手机上重复操作（点外卖、比价、刷资讯、回固定话术）外包给 AI 的普通用户，以及想在 App 自动化里用上多模态视觉的开发者。无需深度编程基础。

先搞懂：Open-AutoGLM 是怎么「刷手机」的？

用一句话理解：它像一个人一样用手机——先看屏幕、再想步骤、最后动手点。整个流程分三步，非常拟人：

阶段	它在做什么	技术底层
看屏幕	实时截图 + 多模态视觉模型识别按钮、输入框、文字布局	AutoGLM-Phone-9B 视觉模型
做规划	像人一样思维链推演：「先开美团→搜火锅→筛选→下单」	LLM 规划推理
动手干	自动点击、输入、滑动、返回，循环直到任务完成	ADB（安卓）/ HDC（鸿蒙）

它不是「录屏回放」。传统 RPA 靠固定坐标，页面一变就崩；AutoGLM 靠视觉理解，按钮改名叫「Sign In」它也能认出来。这也是它比老式自动化更抗造的原因。

Step 1：准备手机，打开调试开关

1 让电脑能「指挥」手机

Open-AutoGLM 通过 ADB（安卓）或 HDC（鸿蒙）发指令，所以先要在手机上打开调试：

# 安卓（Android 7.0+ 均支持）：
# 1. 设置 → 关于手机 → 连点「版本号」7 次，开启开发者选项
# 2. 开发者选项 → 打开「USB 调试」
# 3. 想无线调试：开发者选项 → 「无线调试」→ 配对并记下 IP:端口

# 鸿蒙（HarmonyOS NEXT 原生支持）：
# 设置 → 系统 → 开发者选项 → 开启「USB 调试 / 无线调试」

# 电脑侧确认连上：
adb devices          # 安卓，能看到手机序列号即成功
hdc list targets     # 鸿蒙

💡 新手提示：第一次连会弹「是否允许调试」对话框，手机上点「始终允许」。用 WiFi/局域网无线调试最省事，手机放桌上、电脑隔空指挥，不用拖着数据线。

Step 2：部署 Open-AutoGLM

2 两种部署方式

最省心的方式是用 Claude Code 配置大模型后，直接给一段提示词让它帮你把项目拉起来；也可以手动 clone：

# 方式一（推荐新手）：在 Claude Code 里输入
「帮我部署 Open-AutoGLM 手机智能体项目，配置好运行环境」

# 方式二（手动）：
git clone https://github.com/zhipuai/AutoGLM-Phone
cd AutoGLM-Phone
pip install -r requirements.txt

# 准备一个多模态/视觉模型 Key（智谱 GLM 系列或兼容端点）
export AUTOGLM_API_KEY=你的key

模型从哪来？Open-AutoGLM 的核心视觉与规划能力由智谱 GLM 系列驱动（含开源的 AutoGLM-Phone-9B）。按官方文档配置 Key 或本地权重即可，别自己瞎换不兼容的模型。

Step 3：连接手机并验证「眼睛」

3 确认它能看到屏幕

在跑任务前，先验证三件事：手机已连、能截图、能识别元素。这是最容易卡的一步：

# 1. 确认设备在线
adb devices

# 2. 手动截一张图，确认画面能取到
adb exec-out screencap -p > screen.png

# 3. 跑官方自带的最小验证：
#    让它「打开设置，找到关于手机」
#    观察它是否自动点击 —— 能点开 = 眼睛和手都通了

🔑 关键检查：如果它「看得见但点不准」，多半是屏幕分辨率/DPI 没适配，或 ADB 权限被系统收回（息屏后常发生）。保持屏幕常亮、USB 不松动。

Step 4：第一个任务——一句话点外卖

4 用大白话下命令

连好了就能真干活了。给它一句自然语言，剩下的它全包：

「打开美团，搜附近的重庆火锅，选评分最高的那家，
  点一个双人套餐下单，但先别付款，等我确认」

# 它内部会拆解成：
# 1. 启动美团 App
# 2. 点搜索框 → 输入「重庆火锅」
# 3. 按评分排序 → 选第一名
# 4. 进店 → 加购双人套餐 → 进结算页
# 5. 在支付前停下，弹窗等你拍板

🎉 恭喜！你刚体验了「动嘴不动手」。内置已适配微信、淘宝、京东、小红书、抖音等 50+ 安卓应用与 60+ 鸿蒙原生应用，社交/购物/出行/娱乐全覆盖。

Step 5：敏感操作安全机制——把控制权留给你

5 遇到「雷区」它会主动交还控制权

这是 Open-AutoGLM 最贴心也最关键的设计：遇到登录、验证码、支付等隐私页面，它会自动暂停并弹窗请求「人工接管」。

# 触发人工接管的情况：
# · 需要输入账号密码登录
# · 弹出短信/图形验证码
# · 进入支付/转账确认页
# · 涉及删除、授权等不可逆操作

# 你接管完成后，说「继续」，它才接着干

千万别把支付密码交给 AI。再聪明的 Agent 也只是按指令操作，支付环节务必自己来。这个「人工接管」机制就是为你兜底，别图省事关掉它。

Step 6：多应用串联与长任务

6 一个指令跨多个 App

它的强项不只是一个 App 内操作，而是跨应用串流程。比如「比价」：

「在淘宝、京东、拼多多分别搜『无线耳机 XX 款』，
  把三家最低价和店铺名整理成一张表发我」

# 它会：
# 1. 依次打开三个 App 搜索同一商品
# 2. 识别价格、店铺名（视觉提取）
# 3. 横向比较，生成汇总
# 4. 遇到各平台登录页 → 交还你接管

💡 任务越「长」，越要写得具体：给清 App 名、目标、交付形式（表/文字/截图）。含糊的指令（如「帮我看看买哪个好」）它没法判断标准，反而容易跑偏。

Step 7：避坑与隐私边界

7 用得安心的前提

手机智能体很强，但边界要清楚：

# 隐私红线（务必遵守）：
# · 不授权它访问银行/钱包类 App 的免密支付
# · 验证码、密码永远人工输入
# · 涉及合同、私密聊天，别让它自动转发

# 稳定性小技巧：
# · 保持屏幕常亮、关闭自动锁屏
# · 一次只派一个任务，别并行下多个指令
# · 页面大改版后先小任务试探，再上长流程

🎉 到这步，你已经能让 AI 替你刷手机完成大量重复操作。记住一句话：把「执行」交给它，把「拍板」留给自己。

常见问题速查

你遇到的现象	大概率原因 & 解决
adb devices 看不到手机	没开 USB 调试，或数据线仅充电；换线/重开调试
看得见但点不准	息屏后 ADB 权限回收；保持常亮、重连设备
卡在登录/支付页不动	正常！这是人工接管机制，你接管后说「继续」
任务跑一半乱点	指令太含糊；拆细、明确 App 名与交付形式

📚 更多教程 📰 智能体资讯