【RPA课堂】UiPath Web Automation 数据提取方式

企业和初创公司都将自己的应用程序设置在广泛结构化的基于Web的系统上。这些基于Web的系统中存在的信息非常复杂，需要进行大量处理才能阅读、理解和分析。为了实现这一点，我们需要机器人流程自动化。在UiPath Web Automation的帮助下，我们可以自动执行各种任务，如表单填写、屏幕抓取、数据提取网站测试等。

·    什么是Web Automation？

·    Web Automation的用法

·    实践操作：Google联系人的Web抓取

·    实践操作：从电子商务网站提取数据并存储在电子邮件中

什么是 Web Automation?

Web Automation是一个自动化过程，通过它可以根据Web元素的属性识别它们并相应地对其进行操作。这种自动化可以适用于任何网站，也可以远程部署在网络中的各种机器上。UiPath提供了一个内置的记录器，可以通过直观的图形工作流编辑器读取和制定基于Web的活动。

视频了解UiPath自动化Web数据提取方式

 Web Automation的用法

当今行业中Web自动化的主要用途是：

数据提取（Data Extraction）：可以提取大量数据并将其存储到各种网站的文件和数据库中。

记录（Recording）：在网站上执行的操作可以被记录下来，以便将来进一步执行。

网站测试（Website Testing）：网站功能和特性可以根据用户的需求进行测试。

报告生成（Report Generation）：通过提取所有数据然后根据各种参数对其进行分析来生成报告。

应用程序转移（Application Transfer）：根据使用要求，可以将应用程序从一个域转移到另一个域。

Web抓取可用于各种类型的Web格式，例如JSON，HTML。了解了什么是Web自动化，接下来让我们看看使用UiPath执行Web Automation的实用方法。我们将在本文中看到两个实践。

1、从Google通讯录中抓取数据

2、从电子商务网站抓取数据并存储在电子邮件中

实践：Google联系人的网页搜寻

任务

从Google通讯录中提取数据并将其存储在文件中。

自动化步骤

·    使用Data Scraping工具提取数据。

·    相应地提取相关值。

·    使用“Write CSV”组件将数据存储在CSV文件中。

解决方案：

步骤1： 打开Google通讯录页面以提取数据。

步骤2： 打开UiPathStudio并创建一个Black项目。

步骤3：从功能区中选择DataScraping选项并选择要选择的元素。按下下面对话框中的Next。  

步骤3.1： 将鼠标悬停在数据源字段上，然后单击数据源字段。 在这里我们选择名称。

步骤3.2： 之后将看到另一个对话框，它要求选择第二个元素来创建模式。

步骤4：  选择第二个元素创建模式后，将获得一个配置列的选项。在打开的对话框中，还可以重命名列名并提取URL。之后单击Next。参考下图：

步骤5： 现在要从网站中提取其他数据源，请单击“提取关联数据”  选项并重复上述步骤。在这里我们将提取联系人的电子邮件ID。你会看到以下输出：

步骤6： 完成提取所有必需数据后，单击  Finish 。此操作将打开一个对话框，询问是否希望数据跨多个页面。参考下图：

步骤7： 要跨越多个页面，请选择“是”并将鼠标停在重定向到下一页的区域上。然后，你将被重定向到UiPath仪表盘。

步骤8： 现在将所有提取的数据存储到.CSV文件中，将Write CSV组件拖到Data Scraping 的Do 部分  。

步骤9： 在“File Path”部分中，提到要存储提取数据的.csv文件的路径，然后在DataTable部分中提到 ExtractDataTable变量。参考下图：

注意：ExtractDataTable变量是从Data Scraping Wizard自动生成的输出变量。你可以在提取结构化数据中找到此变量。

步骤10： 单击 Run 按钮执行此序列。你会看到数据存储在.csv文件中。

现在知道如何从网站获取数据，接下来让我们进入关于UiPath Web自动化的第二个实践。

实践：从电子商务网站提取数据

任务

在这个实践中，我们的任务是设计自动化，读取电子邮件的主题并执行自定义搜索。例如，如果我的标题栏写的是LG电视，那么设计的自动化系统必须在Flipkart中搜索LG电视并提取名称、URL和价格。

自动化的步骤

·    拖动“Get IMAP邮件”组件并配置该组件。

·    拖动For Each组件以执行一组操作。

·    拖动“打开浏览器”组件并输入URL。

·    使用Data Scraping工具并提取数据。

·    相应地提取相关值。

·    拖动Write CSV组件并输入文件路径。

·    使用“发送SMTP邮件”发送电子邮件。

解决方案

第1步：创建一个空白项目

第2步：我们的第一个任务是获取包含主题的电子邮件。在这里我们希望主题是苹果手机。要执行此操作，请拖动“ Get IMAP邮件”组件。

2.1：转到此活动的“属性”窗格，并输入以下内容：

·    端口号：993

·    服务器名称：“imap.gmail.com”

·    电子邮件：输入你的电子邮件ID

·    密码：输入你的密码

（这只会读到你收件箱中的第一封邮件）

·    选中“只读未读邮件”框（这只会读取未读消息。）

参考下图：

2.2：现在要存储来自电子邮件的数据，我们需要创建一个变量。创建变量请转到变量窗格并输入变量的名称和类型。在这里，我们将输入名称为MailMessages，并将类型命名为List <T>。

2.3：在<T>中，必须输入邮件消息。为此，请在变量部分中浏览类型并搜索System.Net.Mail。 在此必须选择MailMessage。参考下图：

2.4：在“获取IMAP邮件消息”的“输出”部分中输入变量MailMessages。

第3步：要为“n”个电子邮件启用信息，必须将每个组件的“for”拖放到“ Get IMAP邮件”消息的下面。

3.1：接下来在项目部分输入邮件，并在expression部分输入MailMessages变量。这将能够为每个邮件执行“正文”部分中提到的一组操作。此外，在此活动的“属性”部分中，将Type Argument提及为System.Net.MailMessage。参考下图：

第4步：现在打开Flipkart网站。必须在每个活动的主体部分中拖动“打开浏览器”组件，并在双引号中输入URL。在这里我们将搜索Fossil手表和URL。

注意：搜索的内容无关紧要，因为我们将在下一步中更改URL。

第5步：由于我们的任务是阅读主题行，然后搜索主题行中提到的项目，所以必须修改OpenBrowser组件中提到的URL。

如果你的网址如下：

https://www.flipkart.com/searchq=fossil%20watches&otracker=search&otracker1=search&marketplace=FLIPKART&as-show=on&as=off，然后更改了搜索参数下的项目，并在引号中包含 + mail.Subject +。因此你的新网址应如下所示：

https://www.flipkart.com/search?q="+mail.Subject+"&otracker=search&otracker1=search&marketplace=FLIPKART&as-show=on&as=off

参考下图：

现在已设计了自动阅读电子邮件的标题行，然后在Flipkart网站中执行自定义搜索。因此如果主题行有苹果手机，那么设计的自动化将读取主题行并在Flipkart中搜索苹果手机。

现在，我们的下一个任务是执行数据抓取。

第6步：要执行数据搜集可以参考我们之前的实际操作并执行1-7中的步骤。

第7步：现在一旦抓取数据并被重定向到UiPath仪表盘，必须删除Attach Browser组件，并将ExtractDataTable部分保留在For Each组件的Body部分中。

第8步： 之后将所有提取的数据存储到.csv文件中，将Write CSV组件拖到  For Each Activity 的 Do 部分。

第9步： 接下来，在“FilePath”部分中，输入要存储提取数据的.csv文件的路径，然后在DataTable部分中输入 ExtractDataTable变量。参考下图：

第10步：要获取包含所有数据的电子邮件，必须按序列拖动“ Send SMTP邮件”组件。

10.1：在此操作中，必须输入以下内容：

·       电邮地址：“abc@gmail.com”

·       主题：“附件”

·       主体：“PFA”

此步骤将设计任务，将包含已删除数据的电子邮件发送到输入的主题行附件和正文为PFA的电子邮件地址。参考下图：

10.2：由于我们尚未附加文件，因此要附加文件请单击此活动中的“附加文件”选项，并在打开的对话框中输入该文件的路径。然后单击确定。参考下图：

10.3：现在必须进入到SMTP活动的属性窗格并输入以下内容：

·    端口号 - > 465

·    服务器名称：“smtp.gmail.com”

·    电子邮件：输入FROM电子邮件地址

·    密码：输入FROM电子邮件地址的密码

·    发件人：输入FROM电子邮件地址

第11步：现在，给自己写一封主题为apple％20phones（％20用于标识UiPath中的空间）的邮件。收到邮件后，返回UiPath仪表盘并单击“ 运行”以执行自动化。你将看到一封邮件，其中包含所抓取数据的附件。参考下图：