团队里总有几样工作流卡在「没有 API 的软件」上：十年没换过的内部审批系统、只有图形界面的财务软件、桌面版收银台。10 月 1 日，GitHub 把 Copilot 的 Computer Use 推进公测：Copilot CLI 与 GitHub Copilot 桌面应用（macOS 与 Windows）里的 Copilot，可以代表你操作桌面应用程序——读取应用的可访问内容与视觉上下文、点击控件、输入和编辑文本、按键、滚动、拖拽，并跨应用推进整个工作流。官方的定位写得毫不含糊：这是给「没有 API、没有命令行、没有 MCP 集成」的遗留与 GUI-only 软件兜底的；有直接集成可用时，直接集成永远更可预测。
本篇按官方 changelog 与文档路径走通全流程：打开开关、跑一个只读的最小任务、弄懂审批闸门的三种选择与 Always allow 的真实语义、掌握急停手段，再看企业与团队的使用边界。读完你要能回答两个问题：它适不适合接进你的工作流，以及哪些操作坚决不能交给它。
前置准备：已安装并登录的 Copilot CLI 或 GitHub Copilot 桌面应用；macOS 用户准备授予辅助功能（Accessibility）与屏幕录制（Screen Recording）权限——功能开启时会引导你走授权流程；再挑一个无关紧要的应用当练手对象（备忘录、日历都行），等动作可控了再碰工作软件。
这是公测预览功能：命令与行为可能随版本调整。GitHub 文档明确警告它可能点错控件、把文本输进错误的位置，屏幕上的意外内容配合模糊指令可能引发影响设备、数据或关联账号的动作——保持人工审批在环，不要一键放开批量授权。
Step 1：打开开关：一条命令的事
Computer Use 默认关闭。CLI 里三条命令管开关与状态；桌面应用在 Settings → Computer Use 打开 Enable Computer Use：
/computer on # 开启
/computer show # 查看当前状态
/computer off # 关闭macOS 上头一次使用，Copilot 会引导你授予两项系统权限：辅助功能与屏幕录制。功能在幕后挂载一个本地插件，由它自带的 MCP 服务通过操作系统的可访问树读取界面内容，需要视觉信息时回退到截图——这也是「它能读懂应用」的机制底座。
辅助功能是系统级权限：授予之后，这个本地服务在能力上可以读取所有应用的可访问树，而不只是你打算自动化的那一个。在共享电脑或管理严格的机器上授权前，把这一点当成系统权限变更来对待，而不是一次普通的弹窗确认。
CLI 与桌面应用共享同一份本机许可记录：在一处开启，另一处同步生效。团队内不必每人各配一遍——但反过来说，任何人改动开关也会影响同一台机器上的另一个入口。
Step 2：跑一个最小任务：描述结果，而不是步骤
官方对指令的建议是三要素：要的结果、涉及的应用、重要约束。给「做什么」比给「怎么点」效果好——点击与输入本来就该由模型自己规划。拿练手应用跑一个只读任务：
# 推荐：结果 + 应用 + 约束（禁止项写进指令）
Summarize my unread notifications in Mail and draft
replies for the two most urgent ones. Do not send
anything - leave all replies as drafts.
# 不推荐：意图模糊，容易点错地方
Clean up my email提交后 Copilot 在接管应用前会请求批准——这是公测版的核心安全设计：每一次控制都先过审批闸门。批准选项有三种：仅本次会话允许、Always allow、拒绝。任务执行时你能看到它在哪些应用之间移动、做了什么操作。
新手起步最稳的姿势是把禁止项写进指令：不要发送、不要删除、不要打开设置。把动作范围锁死在「读取与草稿」层，出了问题也只是浪费一次尝试。
Step 3：审批闸门与 Always allow 的真实语义
用 /permissions show 查看当前权限模式。每次接管前的审批交互大致是这样的（示意，以实际版本界面为准）：
? Allow Copilot to control "Mail"?
[ ] Allow once <- 仅本次会话有效
[ ] Always allow <- 本机持久，CLI 与桌面应用共享
[ ] Deny <- 拒绝；deny 规则优先级更高Always allow 的两个语义值得单独记：它保存在本机，对同一台机器上的 Copilot CLI 与桌面应用同时生效；把它从许可列表里移除，只能阻止未来的会话，收不回一个正在运行的会话已经拿到的访问权。换句话说，撤销是「下次生效」，不是「立刻断电」。
对含敏感信息或能造成高影响操作的应用——网银、管理后台、能对外发消息的 IM——不要点 Always allow。GitHub 文档自己也提醒：窗口里可见的敏感内容（密码、密钥、客户资料）会成为模型读到的上下文的一部分。敏感应用一律走单次审批。
定期清理 Always allow 列表，只给低风险、只读类应用留长期许可；拿不准的应用用 Allow once 观察几次再决定。
Step 4：急停、失败模式与任务拆小
中断手段要形成肌肉记忆：CLI 里连按两次 Esc；桌面应用点 Stop 按钮或按 Esc。官方文档列的失败模式也很实在：窗口时序或状态变化会让它重复动作或卡住不动；在动态、复杂的界面上可能点错控件、输错字段。对策不是换更长的指令，而是把任务拆小、逐段确认：
# 把长流程拆成可检查的小段
1. Open the expense report in Safari and fill in
the date and amount fields. Pause there.
2. Wait for my confirmation before submitting.每段结束回到人工手里看一眼再继续，出错时损失被限制在一段之内，回滚也只回滚一段。这个模式跟本站多篇文章讲过的人类在回路（human-in-the-loop）是同一件事：模型负责操作，人负责在关键节点点头。
不可逆动作红线：删除数据、对外发送消息、提交订单付款这类操作点错没有撤销键。公测期不要把它们交给 Computer Use——要么保持人工逐步审批，要么改走 API/MCP 的结构化方案，让每一步有确认与日志。
Step 5：组织边界：企业策略与默认启用政策
管理员视角有一条硬边界：组织可以通过 managed settings 全局禁用 Computer Use，个人在本机开启不能越过组织策略——本地开关在企业管理之下会被压住。另外，GitHub 对 Business 与 Enterprise 计划的默认启用政策（10 月 22 日起自动启用未配置的功能）明确不包含预览功能，Computer Use 不会自己打开，必须有人显式开启。
对团队负责人的建议是把 Computer Use 纳入现有的 AI 工具审批流：明确允许的应用清单、禁止用 Always allow 的应用类型（任何能对外通信或花钱的）、以及审计方式（谁在什么时候批准了对哪个应用的接管）。GUI 自动化的风险不在技术，在授权被顺手放大。
先在两三个人、两个低风险应用的小范围里试用两周，收集「它点错过什么、卡在哪」的真实案例，再决定要不要放宽应用清单。预览功能的边界靠实测摸出来，不靠文档脑补。
Step 6：什么时候别用它：接入优先级清单
GitHub 自己的口径是「直接工具更可预测」。给工作流选接入方式时，按下面这个优先级往下走，Computer Use 永远是兜底而不是起点：
# 接入优先级：能走结构化接口就不走屏幕
1. API / SDK <- 有官方接口，参数化、可重试、可审计
2. MCP Server <- 有现成的或能自建（本站 MCP 系列有专篇）
3. CLI / 脚本 <- 命令行能完成的批量活
4. Computer Use <- 以上都不存在的 GUI-only 兜底与本站教程 403 的浏览器智能体分工也清晰：网页任务优先用专门的浏览器自动化工具（结构化的 DOM 比截图稳得多），Computer Use 管的是桌面原生应用这一层。它的合理生态位是「低频、可人工确认、错了能手动修复」的胶水任务——比如每天从老系统里导一份报表，而不是高频关键路径。
拿它做「迁移侦察」很划算：让 Copilot 只读地走一遍老系统的操作流程并输出步骤清单，你照清单写脚本或建 MCP 工具。给遗留系统做现代化改造时，这一步比对着屏幕猜字段快得多。
预期效果自查：/computer show 显示功能已启用；在一个练手应用上跑通了「只读汇总」任务且全程经过审批闸门；任务执行中按 Esc 两次能立刻停下。三条全过，说明开关、审批、急停三件事都在你掌握之中，可以进入真实工作流的灰度试用。
常见问题 FAQ
它会读到我屏幕上所有内容吗？任务执行时它读的是被接管应用的可访问树与视觉上下文，但辅助功能是系统级权限，能力上可及所有应用。正确的做法是把这次授权当成系统权限变更来管理：敏感应用不授权、敏感内容不上屏、Always allow 最小化。
和 Claude 的 Computer Use、OpenAI Operator 是什么关系？同类能力的不同载体。GitHub 这版的特点是长在 Copilot 生态里、审批与组织策略和现有 Copilot 治理体系打通——你的团队已经在用 Copilot CLI，给 GUI-only 软件兜底时它是阻力最小的选择。
/computer 命令不存在怎么办？大概率是 CLI 版本过旧或公测尚未灰度到你的账号：先更新 CLI 再试，可用性以官方文档的说明为准。预览功能的开放节奏各家都不同，不要拿二手教程的截图当依据。