AI 知识库

Computer Use（电脑控制）

6分钟阅读

Computer Use（电脑控制）

TraeWork 官方插件 —— 让 AI 直接操作你的电脑。点击、输入、滚动、拖拽、按键、设值——跨应用任务，AI 替你完成。

一、定位

字段值
所属TraeWork 官方 marketplace 插件
开发者TraeWork
版本0.0.5
协议内部
类别Productivity
核心能力GUI 操作（点击 / 输入 / 滚动 / 拖拽 / 按键）

二、它解决什么问题

2.1 传统痛点

  • 一些任务只能用 GUI 完成（没有 API）
  • 跨应用操作（Mac ↔ 网页 ↔ Excel）需要人工切换
  • 重复性 GUI 操作（每天点同样的按钮）浪费人力

2.2 Computer Use 的解决方案

  • AI 直接操作 GUI——你描述任务，AI 看着屏幕自己点、自己输入
  • 跨应用——浏览器、桌面 App、文件管理器都行
  • 复用——一次描述，永久自动化

三、典型使用场景

"打开 Safari，访问这个 URL，把页面内容复制到剪贴板"
"在 Excel 里整理这一列数据，按日期排序"
"把这张照片拖到 Photoshop 里裁剪成 1080x1080"
"在邮件客户端里找到昨天收到的发票，下载到桌面"

四、关键能力

能力用途
Click鼠标点击
Type text输入文字
Scroll滚动页面
Drag拖拽
Press key按键（Enter、Tab、Esc 等）
Set value设置值（输入框、下拉框等）
Get app state读取当前应用状态
Take screenshot截图

五、什么时候用 / 不用

5.1 该用

  • ✅ 任务只有 GUI 没有 API
  • ✅ 跨应用自动化
  • ✅ 重复性 GUI 任务
  • ✅ 测试（GUI 自动化测试）

5.2 不该用

  • ❌ 有 API 的任务（用 API 更稳定）
  • ❌ 涉及金钱 / 隐私操作（要确认权限）
  • ❌ 视觉关键的操作（AI 视觉判断有限）
  • ❌ 高频实时操作（GUI 自动化慢）

六、安全注意事项

  • AI 会真的操作你的电脑——不要让它在你不看着的时候干敏感操作
  • 建议先在测试环境跑通
  • 涉及金钱、隐私、不可逆操作的场景一定要人在场

七、引用来源

  • TraeWork 插件目录 —— 本文内容完全来自此文件

八、官方使用说明（启用与授权）

以下内容整理自 TraeWork 官方文档。电脑控制（Computer Use）功能于 2026 年 08 月 21 日随 TraeWork 桌面版 v0.1.49 ~ 0.1.52 正式上线，网页版同步更新。

  • 授权范围（macOS）：需在系统设置中授予「辅助功能」（模拟键盘和鼠标操作、读取界面元素）与「屏幕录制」（截取屏幕内容以理解当前界面）两项权限；只授予其中一项时，AI 只能使用该权限对应的能力。AI 移动鼠标执行任务时，屏幕会显示「TraeWork 正在操作电脑」遮罩提示。
  • 启用步骤：前往 设置 > 电脑控制，点击「安装」按钮安装插件（也可在插件市场搜索「电脑控制」打开详情面板）；安装完成后功能自动启用，macOS 弹出授权窗口；在「辅助功能」「屏幕录制」处点击「去授权」，到系统设置完成授权；重启 TraeWork 生效。
  • 手动引用插件：启用后可在对话输入框中手动添加「电脑控制」插件，让 AI 更准确地识别并执行电脑操作任务。
  • 始终允许：AI 操作应用前会弹确认面板；勾选「始终允许」并提交后，后续操作该应用不再逐次请求确认，该应用会加入「设置 > 电脑控制 > 始终允许的应用」列表，可随时移除；也可打开「始终允许操作应用」开关，省去逐个应用的确认。
  • 官方指令模板：官方提供「填写表单」「按模板填写内容」「验证核心流程」「开发并验收功能」四类指令模板，可直接套用（详见官方文档链接）。

九、官方链接

十、一句话总结

Computer Use 是「让 AI 替你操作电脑」的插件——点击、输入、滚动、拖拽、按键全套 GUI 操作。TraeWork 官方。适合只有 GUI 没有 API 的任务和跨应用自动化，但敏感操作要人在场。

反向链接