内置浏览器自动化
内置一块 AI 可以直接驱动的浏览器面板——终端里的 AI 能自己打开网页、点击、填表、读取数据、跑自动化测试。查文档、测网页、抓数据、验登录流程这些过去要你手动来的事，现在交给 AI 在浏览器里完成。
为什么需要
AI 编程时经常要和网页打交道：查在线文档、测试自己写的前端、获取页面数据、验证登录注册流程。过去 AI「看不到」浏览器，只能让你手动操作再把结果贴回来。内置浏览器自动化把浏览器接进了 AI 的工作闭环：
- AI 能看见：读取页面结构、截图，AI 据此理解页面、规划操作
- AI 能操作：真实点击、输入、滚动、上传下载，和人手操作等效
- 不挡你提问：面板嵌在终端右上角，AI 操作浏览器时你照常打字
全局单窗多标签
内置浏览器采用全局单窗多标签架构——不管从哪个会话、哪个入口打开网页，都汇聚到同一个浏览器窗口的不同标签页里，像用日常浏览器一样管理（早期版本的「嵌入式三态小窗」已统一到这套多标签窗）。
- 多标签 — 标签栏带网站图标（favicon）、复制网址按钮、窗口控制键（最小化 / 最大化 / 关闭，位于标签栏右上角）
- 新建标签 = 空白页 + 最近访问 — 新标签打开是空白地址栏，下方列出最近访问过的站点卡片（每行 5 个、最多 10 个，按域名去重），点一下直接访问
- 访问本地 — 工具栏内置「访问本地 localhost」快捷按钮，一键打开
http://localhost，方便联调本地前端 - 按会话归属 — 浏览器面板默认按发起会话归属隔离，不跨会话串用
不抢焦点
浏览器窗默认藏在主窗背后、定位到屏幕右上角，后台打开时不遮挡你正在进行的聊天，也不抢走输入焦点——AI 在浏览器里忙它的，你照常在终端打字。需要看浏览器时点一下即可唤到前台。
不抢焦点的代价是你可能完全没察觉 AI 开了浏览器。所以入口按钮加了三层提醒：AI 刚开页时闪烁，浏览器有活动时呼吸光晕，你没看过的页面累计成未读角标。
打开方式
| 触发来源 | 说明 |
|---|---|
| AI 驱动 | 终端里的 AI 调用 MCP 工具 browser_open，自动在多标签窗里开页 |
| 你手动点 | 标签栏直接开窗（去掉了旧版的 URL 弹窗） |
| 终端 URL 链接 | 点终端输出里的网址链接，可选在内置浏览器里打开 |
每个浏览器窗都有一个唯一标识符（label）。把标识符复制给另一个会话，别的会话里的 AI 也能找到同一个窗口接着操作，实现跨会话共享与接管。
智能代理（破地域封锁）
有些站点（如雅虎、部分海外服务）在国内直连打不开，光靠 App 全局代理也未必覆盖到浏览器的独立网络栈。内置浏览器提供三档代理模式：
| 模式 | 行为 |
|---|---|
| 智能（默认） | 先尝试直连；直连失败自动改走 App 配置的代理重新打开，并按域名记住该站以后走代理。两路都不通时给出提示 |
| 始终走代理 | 所有站点都经 App 代理访问 |
| 从不 | 全部直连，不走代理 |
代理为什么对浏览器单独生效
走代理的标签页使用独立的 WebView2 环境，让 --proxy-server 真正作用到该网页的网络请求上。AI 也可以在调用 browser_open 时直接传 proxy=true，主动为被墙站点开代理；传 detached=true 则按页选择开独立浏览器窗、不遮挡会话。
AI 能做什么
AI 经 MCP 工具驱动浏览器，覆盖网页自动化的完整能力：
| 类别 | 能力 |
|---|---|
| 导航与感知 | 打开网址、跳转、抓页面语义快照（标题/链接/按钮/输入框）、整页截图、单个元素截图、列出页面内的 iframe |
| 交互操作 | 真实点击、输入文本、悬停、设置下拉框、按键与组合键、滚动到元素/底部、自动应答 alert/confirm/prompt 弹窗 |
| 文件传输 | 给文件框上传本地文件、把网页文件下载到本地（自动带登录 cookie） |
| 登录态 | 读写 cookie（含 httpOnly 登录凭证）、读写 localStorage/sessionStorage |
| 数据获取 | 按规则批量提取结构化数据、把 HTML 表格转成结构化数据、拦截/改写网络请求做接口 mock |
| 测试闭环 | 录制你的操作并重放、对页面状态执行断言（元素存在 / 文本匹配 / URL 包含 / 数量等） |
| 移动端画幅 | 按手机 / 平板视口渲染，触摸事件与移动 UA 一并切换 |
移动端 H5 调试
移动端页面在 PC 宽屏里看不出真机效果。现在打开页面时可以直接指定手机画幅，第一帧就是手机视口 + 触摸 + 移动 UA，省掉「先按 PC 加载 → 再切设备 → 再重载」一整轮。
不指定时也会自动判定：uni-app / Taro / Vant 这类页面会自动切成手机画幅，判据包括站点记忆、发起会话的项目依赖、页面特征探针。
设备画幅覆盖在窗口里居中显示，缩放比例与坐标换算一致 —— AI 点击的位置就是你看到的位置。
设计模式：在页面上点，让 AI 改代码
改样式最麻烦的一步是把「哪个元素」说清楚——"第三个卡片右上角那个小按钮"，AI 得靠猜。设计模式把这一步变成点一下。
点浏览器工具栏的 进入选择态，鼠标划过页面时元素会高亮，点中就弹出确认面板：
| 面板内容 | 说明 |
|---|---|
| 元素缩略图 | 选中区域的截图（仅 Windows，见下方平台支持） |
| 选择器 / DOM 路径 / 父级链 | 定位信息，AI 据此在代码里找到对应元素 |
| 尺寸 | 元素的实际宽高 |
| React 组件名 | 页面用 React 写的话，直接给出组件名——往往一步就能定位到源文件 |
| 诉求输入框 | 你补一句想怎么改，例如「这个按钮 hover 时不该变色，改成只加深边框」 |
点「发送给 AI」后，这些上下文会拼成一段结构化 Markdown 直接写进当前活动会话的终端，包含：来源页面网址、选择器与 DOM 路径、HTML 片段、以及该元素上与浏览器默认值不同的 CSS（也就是作者实际写过的那些声明）。
为什么只给"作者设置过的" CSS
如果把完整 computed style 全给出去，AI 会把没列出的属性理解成"未设置"，从而写出一堆多余的重置声明。只给差异部分，AI 改动更克制。
发送前可以展开「预览将发送的内容」看完整文本，确认无误再发。
平台支持
内置浏览器在三个平台都能开窗、导航、执行 JS，但自动化能力的深度不同——Windows 的 WebView2 提供 Chrome DevTools Protocol（CDP），macOS / Linux 的内置浏览器基于系统 WebKit，没有这套协议。
| 能力 | Windows | macOS / Linux |
|---|---|---|
| 打开 / 导航 / 多标签 / 代理 | 支持 | 支持 |
| 页面快照、点击、输入、滚动、断言 | 支持 | 支持（走注入式驱动） |
| 数据提取、表格转换、iframe 列举、等待条件 | 支持 | 支持（走注入式驱动） |
| 元素截图 / 整页截图 | 支持 | 不支持 |
| Cookie 读写、登录态跨窗复用 | 支持 | 不支持 |
| 网络请求拦截与 mock、录制回放 | 支持 | 不支持 |
macOS / Linux 上的读取与操作类工具走注入式驱动：把 JS 表达式交给宿主 WebView 执行、再经应用内部通道回传结果。它不经过网页的 eval()，所以对 CSP 严格的站点同样有效。
遇到不支持的操作会怎样
依赖 CDP 的工具在 macOS / Linux 上会返回带 [unsupported] 标记的错误，明确告诉 AI「这是平台限制、重试也不会成功」，并提示可以改用哪些工具。这样 AI 会直接换路子，而不是把它当成偶发故障反复重试。
需要截图、抓包、录制回放这类完整能力，请在 Windows 上运行。
典型场景
自动化测试——让 AI 打开你的网站走一遍关键流程，再断言结果：
「打开 example.com/login，用 test 账号登录，断言进入后台页且顶部显示用户名」
AI 会自己导航、填表、点提交、读取页面、给出每条断言的通过/失败。
数据获取——把页面列表或表格变成结构化数据：
「打开这个商品列表页，把每个商品的标题和价格提取出来」
前端联调——拦截接口返回假数据，测前端各种状态：
「mock /api/list 返回空数组，看页面的空状态显示是否正常」
查在线文档——AI 自己开网页查资料，不用你复制粘贴。
怎么用
直接用自然语言告诉终端里的 AI 你想做什么，AI 会自动选用合适的浏览器工具去操作。前提是该 AI 客户端已接入智码的 MCP 服务（设置 → MCP 接入 → 一键接入）。
登录态复用
内置浏览器有独立的持久存储：在某个站点登录一次，cookie 会被记住，关掉重开仍是登录状态。AI 也能把一个窗口的登录 cookie 导出、注入到另一个窗口，实现登录态跨窗复用，避免反复登录。
上手提示词
把下面这些话（网址换成你自己的）直接发给终端里的 AI，它就会驱动内置浏览器去做。不用记任何命令，自然语言描述需求即可。
浏览与查询
用浏览器打开 https://你的网址
打开 github.com 搜索 tauri，把前 5 个结果的标题和链接列给我
自动化测试
打开
http://localhost:3000/login，用账号 test 密码 123456 登录，断言登录后跳到 /dashboard 且页面显示用户名
打开我的网站走一遍注册流程（随便填测试数据），告诉我哪一步报错或卡住
数据获取
打开这个商品列表页，把每个商品的名称、价格、链接提取成表格
打开这个数据表格页，把表格转成 JSON 给我
前端联调（接口 mock）
打开
http://localhost:3000，拦截 /api/list 让它返回空数组，看页面的空状态显示对不对
mock 这个接口返回 500 错误，测一下前端的错误提示是否正常
登录态复用
打开网站登录后，把登录用的 cookie 导出给我
在这个新窗口注入刚才那套 cookie，免登录直接进
录制回放与截图
我在浏览器里手动操作一遍，你录下来生成可重放的脚本
打开这个页面，截图给我看看现在长什么样
让 AI 自己摸索
不确定页面结构时，可以先说「打开这个页面，先看看上面有哪些按钮和输入框」，AI 会读取页面快照规划后续操作，你再让它继续点/填/读即可。
安全说明
- 内置浏览器与应用主进程严格隔离：外部网页拿不到任何应用内部接口
- AI 的浏览器操作全部经过 MCP 工具，每次调用都有审计记录
- 下载文件落到应用缓存目录下按窗口隔离的子目录，不会污染你的系统下载夹
相关章节
- 接入外部 AI（MCP 服务）——让终端 AI 能调用浏览器工具的前提
- 多标签会话管理——浏览器面板与会话标签的协作