Appearance
RPA 元素的概念和基本使用
目录
什么是 RPA 元素
在 RPA（机器人流程自动化）中，元素（Element） 是用户界面中的可操作对象。简单来说，元素就是你在电脑屏幕上看到的、可以与之交互的各种界面组件。
元素的核心特征
每个元素都具备以下特征：
- 位置信息：元素在屏幕上的具体位置和大小
- 类型标识：元素是什么类型（按钮、输入框等）
- 唯一路径：用于准确找到这个元素的路径信息
元素在 RPA 中的作用
元素是 RPA 自动化流程的基础，所有的自动化操作都是通过操作元素来实现的。
主要作用
- 定位目标：帮助 RPA 系统准确找到需要操作的界面组件
- 执行操作：通过元素可以执行点击、输入、读取等操作
- 获取信息：可以从元素中读取文本、值等信息
- 流程控制：通过判断元素是否存在来控制流程走向
元素的类型和应用场景
根据不同的应用程序类型，系统会使用不同的方式来识别元素。
| 大类 | 子类 | 适用场景 | 特点 | 示例应用 |
|---|---|---|---|---|
| 桌面元素 | UIA | Windows 系统自带的应用程序 使用 .NET、WPF 等技术开发的桌面软件 大多数 Windows 原生应用 | 识别精度高 支持完整的控件信息获取 适用于大多数 Windows 应用 | 记事本、计算器 Office 软件（Word、Excel 等） 各种桌面应用程序 |
| MSAA | 一些老旧的 Windows 应用 特殊类型的应用程序 | 使用 MSAA（Microsoft Active Accessibility）接口 兼容性好，但功能相对有限 | 老旧 Windows 应用 特殊类型应用程序 | |
| JAB | Java Swing、AWT 开发的应用程序 企业级 Java 应用 | 通过 Java Access Bridge 访问 适用于 Java 桌面应用 | Java 桌面应用 企业级 Java 系统 | |
| SAP | SAP GUI 应用程序 SAP 系统操作 | 针对 SAP 系统特殊优化 支持 SAP 特有的控件类型 | SAP GUI SAP 系统 | |
| Web 元素 | IE | Internet Explorer 浏览器 一些老旧的网页系统 | 专门针对 IE 浏览器优化 通过 JavaScript 注入获取元素信息 | Internet Explorer 老旧网页系统 |
| Chrome | Chrome 浏览器 网页中的各种元素（按钮、输入框、链接等） | 支持现代 Web 标准 可以识别网页中的 DOM 元素 支持动态内容和 iframe | 网页表单填写 网页数据抓取 在线系统操作 | |
| Edge | Edge 浏览器 网页中的各种元素 | 支持现代 Web 标准 可以识别网页中的 DOM 元素 支持动态内容和 iframe | 网页表单填写 网页数据抓取 在线系统操作 | |
| 360 | 360 浏览器 网页中的各种元素 | 支持现代 Web 标准 可以识别网页中的 DOM 元素 支持动态内容和 iframe | 网页表单填写 网页数据抓取 在线系统操作 | |
| CV 元素 | CV | 无法通过其他方式识别的元素 需要基于图像识别的场景 | 基于计算机视觉技术 通过图像匹配和特征识别定位元素 适用于复杂或特殊界面 | 游戏界面 特殊软件界面 无法通过标准接口访问的应用 |
如何拾取元素
不同应用程序的拾取方式
系统会根据应用程序的类型，自动选择最合适的拾取方式。
比如发现是浏览器就会自动调用浏览器的拾取，如果发现是桌面就会调用桌面拾取
元素的基本使用
使用案例
举一个例子：到百度上搜索今天天气怎么样
- 第一步：打开浏览器进入百度首页
- 第二部：填写输入框，这个输入框就是一个元素
- 第三步：点击百度一下按钮，这个按钮也是一个元素