AI UITester：开启UI测试的智能新时代

UI 自动化测试始终是质量保障领域的硬骨头。多年以来，Selenium、Appium、Airtest 等工具支撑了大量业务场景，但工程师们心里都明白：传统方案的增长空间已经触顶。

最显著的困扰是脆弱性。基于 XPath 与 CSS Selector 编写的脚本，一旦前端进行样式调整或组件重构，就可能导致数十条用例大规模失效。得物技术团队在 2026 年处理过实际案例：交易后台从 Vue 迁移到 React，再到全栈架构，两轮重大改造后，传统 E2E 用例的维护成本激增三倍。一款电商应用的核心下单流程，传统 XPath 方案在三个月内因 UI 调整导致失效的次数超过 20 次，每次都需要重新定位元素，工程师苦不堪言。

更深层次的困境在于覆盖率。传统方案依赖工程师手动编写脚本或录制操作，UI 稍有变化就需要重写定位表达式。一个页面可能仅有 20% 的核心流程实现了自动化覆盖，剩余 80% 长期处于"裸奔"状态。雪上加霜的是跨平台兼容性——同一功能在 Android 和 iOS 上的元素属性截然不同，需要维护两套脚本。

更隐蔽的是动态内容处理能力不足。弹窗、广告、浮层、权限请求这些"意料之中又不可避免"的元素，传统方案要么硬编码坐标，要么提前枚举所有可能，遇到未知情况就会卡死。

这正是 AI Native 测试范式诞生的契机：不再让脚本去死磕 DOM 结构，而是让 AI 像人一样"看懂"界面，再驱动执行。

AI Native 并非将 AI 当作辅助插件嵌入传统流程，而是从用例生成到执行验证全链路都围绕 AI 重新设计。得物技术的 AI UITester 给出了清晰的定义：

AI Native UI 测试 = 多模态视觉理解 + 自然语言决策 + 确定性执行兜底

三个核心要素缺一不可：

这种范式和传统 E2E 的根本差异在于：传统方案是"人告诉机器每一步怎么做"，AI Native 则是"人告诉机器目标是什么，机器自己想办法做到"。前者是脚本执行者，后者是目标完成者。

更深入一层，AI Native 还意味着测试资产的形式变化。传统方案的资产是"脚本"——一段段耦合了元素定位与业务逻辑的代码；AI Native 的资产是"用例"——一段段自然语言描述的目标。脚本会随 UI 变化而失效，用例则可以跨越 UI 迭代长期有效。

AI UITester 的技术栈可拆成四层，每一层都有明确的职责边界。

核心是视觉大模型（VLM）。得物技术选用了 Qwen2.5-VL-72B 作为主力模型，配合 GPT-4V 等作为备选。VLM 能直接"看懂"截图，理解按钮位置、文字含义、控件状态。

这一层的关键是响应速度和准确率的平衡。72B 模型在复杂场景下准确率高，但单次调用延迟可能达到 3-5 秒，成本约 0.05 元/次；轻量模型（如 7B）速度快、成本低（0.005 元/次），但面对长尾 UI 容易误判。工程上一般会分级路由，常见路径走小模型，关键路径调用大模型。

视觉大模型相比传统 OCR 与图像识别有质的飞跃：它能理解"促销标签"是促销标签、"价格计算正确"是什么意思，这是传统像素匹配和文字识别都做不到的语义理解。

AI 不会"一次性"做完所有事，而是采用 ReAct（Reasoning + Acting）循环：

每一步执行后，AI 重新审视当前界面，再决定下一步动作。这种循环让 AI 具备真正的自主决策能力——遇到弹窗会处理，遇到错误会重试，遇到目标完成会终止。

这套循环模式的工程价值在于：AI 不再是单次调用，而是一个持续决策的智能体。它可以从错误中恢复，可以在不确定时探索多条路径，可以对结果进行二次确认。

ReAct 模式源自 AI Agent 研究领域。在 UI 测试场景落地时，需要做几个工程化改造：增加历史记忆压缩机制（避免上下文爆炸）、增加动作指令标准化（便于解析执行）、增加异常恢复路径（避免单点失败导致整个流程崩溃）。

纯 AI 执行有两个致命问题：慢（每次决策都要调用大模型）和不稳定（同一个界面可能给出不同操作）。

AI UITester 的解决方案是分层执行：

这套设计的精妙之处在于：让 AI 做 AI 擅长的事，让工具做工具擅长的事。确定的场景用确定的方式（毫秒级响应、100% 可复现），模糊的场景用模糊的方式（语义理解、灵活决策）。实测下来，这种混合模式比纯 AI 执行快 3-5 倍，稳定性提升一个数量级。

AI UITester 不只是"执行测试"，还要把执行结果转化为可运营的质量数据：

这些数据回流到平台后，可以指导用例优先级排序、识别高风险页面、预测质量趋势。例如，得物技术的实践数据显示：高 PV 页面（PV > 10万/天）的用例失败率是低 PV 页面的 2.3 倍，这意味着资源应该优先铺在高 PV 页面。

AI UITester 的方案选型过程中，得物技术团队做过几次关键决策。

最终选用了 Midscene，主要考量：

browser-use 也是优秀选项，基于 Python + Playwright，能力面广，但团队技术栈以 JS 为主，切换成本较高。在企业级落地时，技术栈匹配度的优先级往往高于功能丰富度——团队熟悉才能持续迭代。

72B 级别的视觉大模型，自托管成本高（A100 单卡推理成本约 ¥3/小时）、推理慢；商用 API（如 GPT-4V）准确率高但数据合规有风险。

折中方案是多模型路由：

这种"分级路由"思想借鉴了 CDN 的设计——不同请求走不同路径，整体成本可控、效果最优。

传统用例完全靠人工编写，覆盖率受限于工程师数量。AI UITester 引入了基于真实运营行为的用例自动生成：

这种"从真实行为反推用例"的思路，比"从需求文档编写用例"更贴近实际使用场景。线上运营每天的操作路径，就是最真实的测试用例库。某次实践中，基于一周的运营日志，AI 自动生成了 280 条用例，覆盖了原本手工编写的 47 条用例涵盖的所有核心路径，并发现了 12 条工程师遗漏的边界场景。

把 AI 能力落地到生产环境，远比 Demo 复杂。AI UITester 在落地过程中踩过几个深坑。

AI 的不确定性是工程化最大的敌人。同样一张截图，同一个 Prompt，模型可能给出不同操作。在 7 天连续运行测试中，纯 AI 模式的单步操作通过率约 92%，意味着每 100 步会有 8 次异常。

解决方案是多层次稳定性保障：

视觉大模型的调用成本不容忽视。一条用例 20 步，每步调用一次大模型，单次成本可能高达 1 元。1000 条用例跑一轮就是 1000 元，企业级规模下月度成本可达数十万元。

优化手段：

AI 决策是个黑盒，失败时难以定位原因。AI UITester 引入了全链路可观测性：

可观测性是 AI Native 系统能否在生产环境长期运行的关键。缺乏观测能力的 AI 系统，失败时只能"靠猜"，工程师无法形成有效的运维经验。

落地 AI UITester 后，几个核心指标有明显改善：

代码覆盖率：从传统方案的 20%-30% 提升到 60%+。AI 可以探索非预期路径，发现工程师遗漏的场景。

用例维护成本：从每周 3 人天降到 0.8 人天。UI 微调不再导致大面积用例失败，AI 自动适应变化。

测试效率：回归一轮从原来的 4 小时缩短到 1.5 小时。AI 并行执行 + 智能跳过稳定路径。

用例生成效率：一个包含 47 个接口的模块，从准备数据到生成完整用例，人工需要 2 天，AI 在 15 分钟内完成，人工审核后 92% 可直接使用。

这些数字背后，更深层的价值是测试角色的转变：测试工程师从"写脚本的执行者"变成"用例审核者 + 质量策略制定者"。AI 处理重复性的执行工作，人类专注于判断"什么值得测"和"什么算测好了"。

下面给出一个简化版的实现，演示核心思路：

这个示例虽然简化，但展示了 AI UITester 的核心循环：截图 → 决策 → 执行 → 再截图。真实生产环境的实现会复杂得多，包括错误恢复、并发执行、结果缓存、报告生成等模块。

AI UITester 的下一步演进有几个清晰的方向：

从执行到预测：基于历史测试数据，AI 预测哪些模块可能出问题，提前介入。这需要把测试数据接入到代码仓库的变更流中，建立"代码改动 → 测试预测 → 精准执行"的链路。

从单模态到多模态：除视觉外，融入音频（如语音播报验证）、日志（如服务端报错关联）、性能数据（如响应时间监控）等多维度信息。多模态融合让 AI 拥有更全面的判断依据。

从工具到平台：让 AI 自主编排测试策略，工程师只定义质量目标。例如输入"保障交易链路的稳定性"，AI 自动规划用例、自动执行、自动报告。

Agent 化测试：单个 AI Agent 负责一个产品线，多个 Agent 协同完成端到端质量保障。这种模式类似 DevOps 中的 SRE 团队，但每个 Agent 都是一个高度自治的智能体。

这些方向背后，是测试自动化的根本转变——从"工程师设计测试"到"AI 自主测试"。工程师的角色从"设计者"逐渐变成"监督者"，负责定义质量标准、审核 AI 决策、处理异常情况。

AI Native 不是要取代测试工程师，而是重新定义这个角色。未来的测试工程师需要具备的能力：

工具会变，但对质量的追求不会变。AI Native 是手段，不是目的。它解放了工程师从重复性劳动中的时间，让工程师能专注于真正需要人类判断的工作——理解业务、定义标准、识别风险。

UI 自动化测试走过 Selenium、Appium、Airtest 三个时代，正在进入第四个时代——AI Native 时代。这个时代不再让脚本去死磕 DOM，而是让 AI 像人一样理解界面、自主决策、持续学习。

得物技术的 AI UITester 给出了工程化范本：多模态感知 + ReAct 决策 + 确定性兜底 + 数据闭环。这套架构既保留了 AI 的智能，又兼顾了工程化的稳定性与可观测性。在真实的电商交易场景中验证下来，AI Native 范式能显著提升测试覆盖、降低维护成本、加速交付节奏。

AI Native 不是未来，它正在发生。