将互动式使用者界面元件映射到用于机器人流程自动化开发的机器人流程自动化物件储存库的制作方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明大体上关于机器人流程自动化(robotic process automation；rpa)，且更特定而言，关于将互动式使用者界面(user interface；ui)元件映射至用于rpa开发的rpa物件储存库。背景技术：2.机器人流程自动化(rpa)为一种形式的流程自动化，其经实施以自动化重复及/或劳动密集型任务，进而降低成本且增加效率。在rpa中，执行软件机器人以自动化工作流程。此类工作流程包含多个活动，其各自对应于一或多个动作。在rpa开发期间，借由开发者与rpa设计者应用程序互动以界定工作流程的每一活动来界定工作流程。工作流程的活动借由记录开发者与互动式使用者界面(ui)元件的互动来界定，所述互动式ui元件诸如按钮、核取方块、本文栏位等。习知地，为了记录互动，开发者选择互动式ui元件，将互动式ui元件储存在物件储存库中，且接着对经储存互动式ui元件执行动作。然而，由于开发者需要在执行动作之前选择每一个各别互动式ui元件且将互动式ui元件储存在物件储存库中，传统的互动记录为侵入性的且耗时的。技术实现要素：3.根据一或多个实施例，提供用于将互动式使用者界面(ui)元件映射至一机器人流程自动化(rpa)物件储存库的系统及方法。接收选择一应用程序的一视窗的使用者输入，所述应用程序的所述视窗显示在显示装置上。回应于接收选择所述应用程序的所述视窗的所述使用者输入，自动识别所述应用程序的所述视窗中的互动式ui元件。接收选择所述应用程序的所述视窗中的经识别互动式ui元件中的一或多个互动式ui元件的使用者输入。将一或多个选定的互动式ui元件储存在rpa系统的rpa物件储存库中。4.在一个实施例中，自动选择经识别互动式ui元件。接收取消选择经自动选定的互动式ui元件中的一或多个互动式ui元件的使用者输入。所述互动式ui元件可包含按钮、核取方块或本文栏位中的一或多个。5.在一个实施例中，接收编辑经储存互动式ui元件的属性的使用者输入。6.在一个实施例中，一或多个选定的互动式ui元件与储存在所述rpa物件储存库中的现有互动式ui元件进行比较以判定所述一或多个选定的互动式ui元件是否为复本。回应于判定所述一或多个选定的互动式ui元件并非复本而储存所述一或多个选定的互动式ui元件。在一个实施例中，借由对与现有互动式ui元件相关联的描述符进行过滤以产生匹配得分而执行比较。回应于判定所述匹配得分中无一者为一最大匹配得分，识别具有一最高的n匹配得分的描述符，其中n为任一正整数。一统一目标演算法应用于经识别描述符以判定所述经识别描述符是否匹配所述一或多个选定的互动式ui元件。回应于所述统一目标演算法判定所述经识别描述符不匹配所述一或多个选定的互动式ui元件而将所述一或多个选定的互动式ui元件储存在所述rpa物件储存库中。7.在一个实施例中，记录对所述经储存互动式ui元件中的一或多个互动式ui元件执行的动作的一rpa自动化。8.参考以下详细说明及随附附图，本发明的上述优点及其他优点对本领域技术人员将显而易见。附图说明9.图1为根据本发明的一实施例的机器人流程自动化(rpa)系统的架构图；10.图2为根据本发明的一实施例的经部署rpa系统的实例的架构图；11.图3为根据本发明的一实施例的rpa系统的经简化部署实例的架构图；12.图4展示根据本发明的一实施例的用于实施机器人流程自动化机器人的云端管理的云端rpa系统的架构图；13.图5展示根据一或多个实施例的用于将互动式ui元件映射至rpa物件储存库的方法；14.图6展示根据一或多个实施例的rpa设计者应用程序的使用者界面；15.图7展示根据一或多个实施例的捕获元件模组的使用者界面；16.图8展示根据一或多个实施例的使用者界面，其用于选择应用程序的视窗，自所述视窗捕获互动式ui元件；17.图9展示根据一或多个实施例的识别互动式ui元件的使用者界面；18.图10展示根据一或多个实施例的用于选择互动式ui元件的使用者界面；19.图11展示根据一或多个实施例的使用者界面，其展示储存在rpa物件储存库中的互动式ui元件；20.图12展示根据一或多个实施例的使用者界面，其展示捕获元件模组；且21.图13为可用于实施本发明的实施例的计算系统的方块图。具体实施方式22.将参考附图描述本文中所描述的实施例，其中相同元件符号表示相同或类似元件。在机器人流程自动化(rpa)中，利用机器人来自动执行工作流程。rpa可由诸如图1至图4中所展示的rpa系统的rpa系统来实施。23.图1为根据一或多个实施例的rpa系统100的架构图。如图1中所展示，rpa系统100包括设计器102以允许开发者设计自动流程。更特定而言，设计器102促进rpa流程及用于执行流程中的活动的机器人的开发及部署。设计器102可提供用于应用程序整合以及自动化第三方应用程序、管理信息技术(information technology；it)任务及用于联络中心操作的业务流程的解决方案。设计器102的实施例的一个商业实例为uipath studiotm。24.在设计基于规则的流程的自动化时，开发者控制执行次序及在流程中开发的一组定制步骤(在本文中经定义为「活动」)之间的关系。每一活动可包括动作，诸如点击按钮、读取文档、写入至日志面板等。在一些实施例中，流程可为嵌套式或嵌入式。25.一些类型的流程可包括但不限于序列、流程图、有限状态机(finite state machine；fsm)及/或全域异常处置器。序列可尤其适于线性流程，使得能够自一个活动流动至另一活动，而不会使程序混乱。流程图可特别适合于较复杂的业务逻辑，使得能够借由多个分支逻辑运算符以较多样方式整合决策且连接活动。fsm可尤其适于较大工作流程。fsm可在其执行中使用有限数目个状态，所述状态由条件(亦即，转变)或活动触发。全域异常处置器可尤其适于当遇到执行错误时判定工作流程行为且适于除错流程。26.一旦在设计器102中开发了流程，则借由指挥器104编排业务流程的执行，所述指挥器编排一或多个机器人106，其执行在设计器102中开发的流程。指挥器104的实施例的一个商业实例为uipath orchestratortm。指挥器104促进rpa环境中的资源的创建、监测及部署的管理。在一个实例中，指挥器104为网络应用程序。指挥器104亦可充当与第三方解决方案及应用程序的整合点。27.指挥器104可借由自集中点连接及执行机器人106而管理一队rpa机器人106。指挥器104可具有各种能力，包括但不限于供应、部署、组态、排队、监测、记录及/或提供互连性。供应可包括创建且维护机器人106与指挥器104(例如，网络应用程序)之间的连接。部署可包括确保将套件版本正确地递送至经指派机器人106以供执行。组态可包括维护且递送机器人环境及流程组态。排队可包括提供伫列及伫列项目的管理。监测可包括追踪机器人识别数据且维持使用者权限。记录可包括将日志储存且编索引至数据库(例如，sql数据库)及/或另一储存机构(例如，其提供储存且快速地查询较大数据集的能力)。指挥器104可借由充当用于第三方解决方案及/或应用程序的通讯的集中点来提供互连性。28.机器人106为运行在设计器102中建构的流程的执行代理。机器人106的一些实施例的一个商业实例为uipath robotstm。机器人106的类型可包括但不限于参与的机器人108及未参与的机器人110。参与的机器人108借由使用者或使用者事件触发，且在相同计算系统上与人类使用者一起操作。参与的机器人108可帮助人类使用者实现各种任务，且可直接借由人类使用者及/或使用者事件触发。在参与的机器人的状况下，指挥器104可提供集中式流程部署及记录介质。在某些实施例中，参与的机器人108可仅根据「机器人任务栏」或根据网络应用程序中的命令提示起动。未参与的机器人110在虚拟环境中在未参与的模式中操作，且可用于自动化许多流程，例如，用于大量、后端流程等等。未参与的机器人110可负责远端执行、监测、排程，且为工作伫列提供支援。参与和未参与的机器人可自动化各种系统及应用程序，所述系统及应用程序包括但不限于大型电脑、网络应用程序、vm、企业应用程序(例如，由等产生的应用程序)及计算系统应用程序(例如，桌上及膝上型电脑应用程序、行动装置应用程序、随身电脑应用程序等)。29.在一些实施例中，机器人106预设地安装microsoft服务控制管理器(service control manager；scm)管理的服务。因而，此类机器人106可在本端系统账户下开启互动式会话，且具有服务的权限。在一些实施例中，机器人106可安装在使用者模式中，所述使用者模式与使用者具有安装给定机器人106的相同权限。30.在一些实施例中，机器人106拆分成若干组件，所述组件各自专用于特定任务。在一些实施例中，机器人组件包括但不限于scm管理的机器人服务、使用者模式机器人服务、执行器、代理及命令行。scm管理的机器人服务管理且监测会话且充当指挥器104与执行主机(亦即，在其上执行机器人106的计算系统)之间的代理。服务可经委托且管理用于机器人106的凭证。控制台应用程序借由scm在本端系统下启动。在一些实施例中，使用者模式机器人服务管理且监测会话且充当指挥器104与执行主机之间的代理。使用者模式机器人服务可经委托且管理用于机器人106的凭证。若不安装scm管理的机器人服务，则可自动启动应用程序。执行器可在会话下运行给定工作(例如其可执行工作流程)且其可知晓每监视器的每英寸点数(dots per inch；dpi)设置。代理可为呈现基础(presentation foundation；wpf)应用程序，其在系统任务栏视窗中显示可用工作。代理可为服务的用户端。代理可请求起动或停止工作且改变设置。命令行为服务的用户端，且为控制台应用程序，其可请求起动工作且等待其输出。拆分机器人组件可帮助开发者，支援使用者，且使得计算系统能够更易于运行、识别且追踪每一机器人组件正执行的操作。举例而言，可为每一机器人组件组态特殊行为，诸如为执行器及服务设定不同防火墙规则。作为另一实例，在一些实施例中，执行器可知晓每一监测器的dpi设置，且因而，可在任一dpi处执行工作流程，无论创建工作流程所处的计算系统的组态如何。31.图2展示根据一或多个实施例的rpa系统200。rpa系统200可为图1的rpa系统100或可为rpa系统100的部分。应注意，「用户端侧」、「服务器侧」或两者可包括任何所要数目个计算系统，且不偏离本发明的范围。32.在此实施例中，如在用户端侧上所展示，计算系统202包括一或多个执行器204、代理206及设计器208。在其他实施例中，设计器208可不在相同计算系统202上运行。执行器204(其可为如上文所描述的机器人组件)运行流程，且在一些实施例中，多个业务流程可同时运行。在此实例中，代理206(例如服务)为用于管理执行器204的单一联络点。33.在一些实施例中，机器人表示机器名称与使用者名称之间的相关联性。机器人可同时管理多个执行器。在支援同时运行的多个互动式会话的计算系统(例如服务器2012)上，多个机器人可同时运行(例如高密度(high density；hd)环境)，每一机器人在单独的会话中使用唯一的使用者名称。34.代理206亦负责发送机器人的状态(例如定期发送「心跳」讯息，其指示机器人仍在运行)且下载待执行的套件的所需版本。在一些实施例中，代理206与指挥器212之间的通信借由代理206发起。在通知情境的实例中，代理206可打开websocket通道，其稍后由指挥器212使用以将命令发送至机器人(例如起动、停止等)。35.在此实施例中，如在服务器侧上所展示，表示层包含网络应用程序214、开放数据协定(open data；odata)表现层状态传送(representative state transfer；rest)应用程序设计界面(application programming interface；api)端点216以及通知及监测api 218。服务器侧上的服务层包括api实施/业务逻辑220。服务器侧上的持久层包括数据库服务器222及索引器服务器224。指挥器212包括网络应用程序214、odata rest api端点216、通知及监测api 218，以及api实施/业务逻辑220。36.在各种实施例中，使用者在指挥器212的界面中执行(例如经由浏览器210)的大部分动作借由调用各种api来执行。此类动作可包括但不限于在机器人上起动工作、添加/删除伫列中的数据、对工作进行排程以在无人参与下运行等等。网络应用程序214为服务器平台的视觉层。在此实施例中，网络应用程序214使用超文字标示语言(hypertext markup language；html)及javascript(js)。然而，可使用任何所要标示语言、指令码语言或任何其他格式，且不偏离本发明的范围。在此实施例中，使用者经由浏览器210与来自网络应用程序214的网页互动以便执行各种动作以控制指挥器212。举例而言，使用者可创建机器人群组，将套件指派至机器人，分析每一机器人及/或每一流程的日志，起动且停止机器人等。37.除了网络应用程序214之外，指挥器212亦包括服务层，其曝露odata rest api端点216(或可实施其他端点，且不偏离本发明的范围)。rest api由网络应用程序214及代理206两者使用。代理206为此例示性组态中的用户端电脑上的一或多个机器人的监督员。38.此实施例中的rest api涵盖组态、记录、监测及排队功能性。在一些实施例中，组态rest端点可用于界定且组态应用程序使用者、权限、机器人、资产、发布及环境。举例而言，记录rest端点可适用于记录不同资讯，诸如误差，由机器人发送的显式讯息及其他环境特定的资讯。部署rest端点可由机器人使用以查询套件版本，若在指挥器212中使用起动工作命令，则应执行所述套件版本。对rest端点进行排队可负责伫列及伫列项目管理，诸如将数据添加至伫列、自伫列获得异动、设置异动的状态等。监测rest端点监测网络应用程序214及代理206。通知及监测api 218可为rest端点，其用于注册代理206、将组态设置递送至代理206且用于自服务器及代理206发送/接收通知。在一些实施例中，通知及监测api 218亦可使用websocket通信。39.在此说明性实施例中，服务器侧上的持久层包括一对服务器—数据库服务器222(例如sql服务器)及索引器服务器224。在此实施例中，数据库服务器222储存机器人、机器人群组、相关联流程、使用者、角色、排程等的组态。在一些实施例中，此资讯由网络应用程序214管理。数据库服务器222亦可管理伫列及伫列项目。在一些实施例中，数据库服务器222可储存由机器人记录的讯息(除了索引器服务器224之外或代替索引器服务器)。在一些实施例中视情况选用的索引器服务器224储存由机器人记录的资讯且对所述资讯编索引。在某些实施例中，索引器服务器224可借由组态设置停用。在一些实施例中，索引器服务器224使用其为开放源项目全文搜索引擎。由机器人(例如使用类似于日志讯息或写入行的活动)记录的讯息可借由记录rest端点发送至索引器服务器224，其中所述讯息经编索引以用于未来利用。40.图3为根据一或多个实施例的说明rpa系统300的经简化部署实例的架构图。在一些实施例中，rpa系统300可分别地为或可分别地包括图1及图2的rpa系统100及/或200。rpa系统300包括运行机器人的多个用户端计算系统302。计算系统302能够经由在其上运行的网络应用程序与指挥器计算系统304通信。指挥器计算系统304又与数据库服务器306及视情况选用的索引器服务器308通信。关于图2及图3，应注意，虽然在上述实施例中使用网络应用程序，但可在不偏离本发明的范围的情况下使用任何合适的用户端/服务器软件。举例而言，指挥器可运行服务器侧应用程序，其与用户端计算系统上的非基于网络的用户端软件应用程序通信。41.在一个实施例中，图1的rpa系统100、图2的rpa系统200及/或图3的rpa系统300可经实施以用于rpa机器人的云端管理。rpa机器人的此类云端管理使得rpa能够经提供为软件即服务(software as a service；saas)。因此，图1的指挥器104、图2的指挥器212及/或图3的指挥器304经实施于云端中以用于rpa机器人的云端管理，以例如创建rpa机器人、供应rpa机器人、对rpa机器人上的任务进行排程、停止使用rpa机器人或实行任一其他编排任务以用于管理rpa机器人。42.图4说明根据一或多个实施例的用于实施rpa机器人的云端管理的云端rpa系统400的架构图。云端rpa系统400包含云端计算环境402及本端计算环境404。本端计算环境404表示使用者或任何其他实体(诸如公司、企业等)的区域网络架构。本端计算环境404包含区域网络406。云端计算环境402表示云端计算网络架构，其在本端计算环境404处提供远离使用者的工作负载的服务或处理。云端计算环境402包含各种云端网络，包括：因特网414；使用者云端网络418，其表示由使用者管理(或控制)且由云端平台提供者代管的云端网络；及云端服务提供者云端网络420，其表示由云端服务提供者管理且由云端平台提供者代管的云端网络。云端服务提供者为经由云端提供服务(例如rpa)的实体。云端平台提供者为维持云端计算基础设施的实体。本端计算环境404的区域网络406以通信方式耦接至云端计算环境402的因特网414以促进本端计算环境404与云端计算环境402之间的通信。43.如图4中所展示，云端编排器430经实施于云端计算环境402中以实现rpa机器人的云端管理。详言之，云端编排器430由云端服务提供者管理且在云端计算环境402内的云端服务提供者云端网络420中经代管。在一个实施例中，云端服务提供者将rpa提供至本端计算环境404中的使用者。44.云端编排器430管理云端计算环境402中的rpa机器人。详言之，使用者与本端计算环境404中的计算装置412互动，以将用于管理rpa机器人的指令传输至云端计算环境402中的云端编排器430。替代地，使用者与本端计算环境404中的计算装置412互动，以在云端编排器430上设定排程，以代表使用者自动传输用于管理rpa机器人的指令。用于管理rpa机器人的例示性指令包括用于创建rpa机器人、供应rpa机器人、对rpa机器人上的任务进行排程(例如，对用于执行任务的时间及用以执行任务的机器人的类型进行排程)、停止使用rpa机器人的指令，或用于rpa机器人的任何其他编排逻辑指令。回应于接收指令，云端编排器430借由例如创建rpa机器人、供应rpa机器人、对rpa机器人的任务进行排程、停止使用rpa机器人等来实现所述指令。在一个实施例中，云端编排器430可类似于图1的指挥器104、图2的指挥器212或图3的指挥器304，但经实施于云端计算环境402内的云端服务提供者云端网络420中。45.由云端编排器430管理的rpa机器人可包括云端机器人的集区，所述云端机器人在云端计算环境402内经部署且维持。此类云端机器人可包括云端服务机器人集区426的一或多个云端服务机器人428-a……428-x(在下文中共同地被称作云端服务机器人428)及云端管理机器人集区422的一或多个云端管理机器人424-a……424-y(在下文中共同地被称作云端管理机器人424)。所述云端机器人执行(亦即，处理)云端计算环境402中的任务且将任务的结果传输至本端计算环境404中的使用者。另外或替代地，由云端编排器430管理的rpa机器人可包括本端机器人集区408的一或多个本端机器人410-a……410-z(在下文中共同地被称作本端机器人410)。46.云端服务机器人428由云端服务提供者云端网络420中的云端服务提供者维持，以为区域网络环境404中的使用者执行云端计算环境402中的rpa任务。云端服务机器人428在使用者将指令自计算装置412发送至云端编排器430的请求后创建。在创建之后，云端服务机器人428在等待执行任务(或工作流程)时进入待用模式。当在待用模式中时，最小化或以其他方式降低用于运行云端服务机器人428的成本。借由使用者将指令自计算装置412发送至云端编排器430而在云端服务机器人428上对任务进行排程。用于对任务进行排程的指令界定用于执行任务的时间及用于执行任务的机器人类型。云端服务机器人428自待用模式唤醒以执行任务，且在完成任务后返回至待用模式。因此，云端服务机器人428为本端计算环境404中的使用者执行云端服务提供者云端网络420上的任务。47.云端管理机器人424由使用者云端网络418中的使用者维持，以为区域网络环境404中的使用者执行云端计算环境402中的rpa任务。云端管理机器人424在能力上类似于云端服务机器人428，且亦在云端计算环境402中经代管。然而，在其上代管云端管理机器人424的使用者云端网络418由使用者管理，而在其上代管云端服务机器人428的云端服务提供者云端网络420由云端服务提供者管理且由云端平台提供者代管。云端编排器430借由在云端服务提供者云端网络420与使用者云端网络418之间建立连接来管理云端管理机器人424。可借由使用者利用云端提供者技术以隧穿回至区域网络406来建立使用者云端网络418。所述使用者可建立自区域网络406至云端服务提供者云端网络420的专属网络连接。连接性典型地呈现例如任意(例如因特网协定虚拟专用网络)网络、点对点乙太网络或经由主机代管设施处的连接性提供者的虚拟交叉连接的形式。上述连接不经由公用因特网。此相比于经由因特网的典型的连接提供较强可靠性、较快速度、一致潜时及较高安全性。使用者云端网络418继续由使用者充分控制且管理，进而为使用者提供对数据的严格控制。48.一旦已经建立云端服务提供者云端网络420与使用者云端网络418之间的连接，则在使用者经由计算装置412与云端编排器430互动的请求之后创建云端管理机器人424。在使用者云端网络418上创建云端管理机器人424。因此，云端管理机器人424为本端计算环境404中的使用者执行使用者云端网络418上的任务。演算法可经应用以最大化云端管理机器人集区422中的机器人的利用率且降低使用者的操作成本。49.本端机器人410由区域网络406中的使用者维持，以用于为区域网络环境404中的使用者执行rpa任务。区域网络406由使用者控制或以其他方式管理。云端编排器430借由标准https连接性维持至本端机器人410的连接。50.在rpa开发期间，工作流程借由开发者(或其他使用者)与rpa设计器应用程序交互以界定工作流程的每一活动来界定。举例而言，此类rpa设计器应用程序可为图1的rpa系统100的设计器102、图2的rpa系统200的设计器208、图3的rpa系统300的设计器(未展示)，或图4的云端rpa系统400的设计器(未展示)。习知地，开发者借由分别地且单独地自应用程序的视窗选择互动式使用者界面(ui)元件且记录用于选定的互动式ui元件的自动化来设计工作流程，其可为侵入性且耗时的流程。本文中所描述的实施例借由将互动式ui元件映射至rpa物件储存库来促进rpa工作流程的开发。以此方式，开发者可自rpa物件储存库选择数个互动式ui元件中的一或多个互动式ui元件以记录自动化，而不必自应用程序的视窗选择每一互动式ui元件。有利地，本文中所描述的实施例提供自动化的无缝记录。51.图5展示根据一或多个实施例的用于将互动式ui元件映射至rpa物件储存库的方法500。方法500的步骤可由一或多个合适的计算装置(诸如图13的计算系统1300)执行。52.在图5的步骤502处，接收选择经显示于显示装置上的应用程序的视窗的使用者输入。使用者输入从开发者或任何其他合适的使用者接收。53.在借由开发者设计rpa工作流程期间，接收选择应用程序的视窗的使用者输入。在rpa工作流程的设计期间，所述开发者与rpa设计器应用程序互动以界定工作流程的每一活动。可借由经由设计器应用程序自rpa物件储存库选择互动式ui元件且记录对互动式ui元件执行的动作来界定工作流程的活动。54.图6展示根据一或多个实施例的rpa设计器应用程序的使用者界面600。使用者界面600展示：主要视图602，所述开发者根据所述主要视图界定rpa工作流程；及物件储存库604，其储存互动式ui元件。如图6中所展示，物件储存库604是清空的。为了捕获互动式ui元件以储存在物件储存库604中，所述开发者选择记录器符号606，其启动捕获元件模组。55.图7展示根据一或多个实施例的捕获元件模组的使用者界面700。使用者界面700包含捕获所有元件按钮702，其用于捕获应用程序的选定视窗中的所有互动式ui元件。开发者选择捕获所有元件按钮702，其启动扫描模组以起动捕获流程。56.图8展示根据一或多个实施例的使用者界面800，其用于选择应用程序的视窗，将自所述视窗捕获互动式ui元件。使用者界面800展示扫描模组802，其提示开发者选择将自其捕获互动式ui元件的应用程序的视窗。回应于来自扫描模组802的提示，所述开发者选择视窗804。开发者选择视窗804可为使用者输入在图5的步骤502处选择应用程序的视窗。57.在图5的步骤504处，回应于接收选择应用程序的视窗的使用者输入，在应用程序的视窗中自动识别互动式ui元件。互动式ui元件为使用者可与其互动的使用者界面元件。例示性互动式ui元件包括按钮、核取方块、本文栏位等。58.可使用任何合适的方法自动识别互动式ui元件。在一个实施例中，使用基于经训练机器学习的模型自动识别互动式ui元件。基于经训练机器学习的模型接收应用程序的视窗的影像作为输入，且产生应用程序的视窗的影像作为输出，其中在所述应用程序上识别互动式ui元件。在先前的离线或训练阶段期间使用训练数据来训练基于经训练机器学习的模型。训练数据包含(例如借由使用者)运用互动式ui元件注解的应用程序的视窗的训练影像。59.图9展示根据一或多个实施例的识别互动式ui元件的使用者界面900。使用者界面900展示扫描模组902及由开发者选择的应用程序的视窗804，其中在所述视窗中突出显示互动式ui元件904-a至904-y。60.在图5的步骤506处，接收选择应用程序的视窗中的经识别互动式ui元件中的一或多个互动式ui元件的使用者输入。在一个实施例中，使用者输入可为全部选定按钮或全部不选按钮的选择以分别地选择所有经识别互动式ui元件或取消选择所有经识别互动式ui元件。在另一实施例中，使用者输入可另外或替代地为直接在应用程序的视窗中选择或取消选择一或多个互动式ui元件。在一个实施例中，自动选择所有经识别互动式ui元件且接收使用者输入以取消选择经识别互动式ui元件中的一或多个互动式ui元件。61.图10展示根据一或多个实施例的用于选择互动式ui元件的使用者界面1000。在使用者界面1000中，开发者可选择扫描模组902中的全部不选按钮1002以取消选择所有经识别ui元件或可选择全部选定按钮1004以选择所有经识别ui元件。所述开发者可另外或替代地选择或取消选择视窗804中的一或多个互动式ui元件904-a至904-y。如图10中所展示，自动选择所有经识别互动式ui元件904-a至904-y，且所述开发者随后取消选择互动式ui元件904-a至904-m，从而使得选择互动式ui元件904-n至904-y。所述开发者借由选择捕获按钮1006而完成选择互动式ui元件904-n至904-y。62.在图5的步骤508处，选定的互动式ui元件储存在rpa系统的rpa物件储存库中。在一个实例中，rpa系统可为图1的rpa系统100、图2的rpa系统200、图3的rpa系统300或图4的云端rpa系统400。63.图11展示根据一或多个实施例的使用者界面1100，其展示储存在rpa物件储存库中的互动式ui元件。使用者界面1100包含捕获元件模组1102，其展示储存选自视窗804的互动式ui元件的rpa物件储存库1104。64.在一个实施例中，选定的互动式ui元件与储存在所述rpa物件储存库中的现有互动式ui元件进行比较以判定选定的互动式ui元件是否为复本。为了执行比较，撷取与储存在rpa物件储存库中的现有互动式ui元件相关联的所有描述符。描述符保持唯一地识别其相关联的现有互动式ui元件的资讯。描述符穿过过滤器以判定其相关联的现有互动式ui元件是否为与选定的互动式ui元件匹配的潜在候选者。所述过滤器产生匹配得分(例如自零至一，其中零指示与选定的互动式ui元件不匹配，且一指示与选定的互动式ui元件匹配)。若所述过滤器识别具有最大高匹配得分(亦即，指示匹配)的描述符，则与描述符相关联的现有互动式ui元件作为匹配返回至选定的互动式ui元件。若所述过滤器识别具有最大匹配得分的多个描述符，则所述开发者可选择多个描述符中的一个且与选定的描述符相关联的现有互动式ui元件作为匹配选定的互动式ui元件而返回。若所述过滤器不识别具有最大匹配得分的任何描述符，则具有最高的n匹配得分的描述符(其中n为任一正整数，诸如5)经识别且在经识别描述符上应用完全统一的目标演算法。若统一目标演算法判定经识别描述符匹配选定的互动式ui元件，则与经识别描述符相关联的现有互动式ui元件作为与选定的互动式ui元件匹配而返回。否则，若统一目标演算法判定经识别描述符中无一者匹配选定的互动式ui元件，则选定的互动式ui元件不被视为复本，且选定的互动式ui元件储存在rpa物件储存库中。以此方式，仅与现有互动式ui元件不匹配的选定的互动式ui元件储存在rpa物件储存库中。65.在一个实施例中，可自开发者接收使用者输入以用于编辑且保存储存在物件储存库中的互动式ui元件的属性。图12展示根据一或多个实施例的使用者界面1200，其展示捕获元件模组。使用者界面1200包含用于编辑储存在rpa物件储存库1206中的选定的互动式ui元件1204的属性的属性面板1202。可在属性面板1202中编辑的例示性属性包括元件名称、类型、描述、选择器及模糊选择器。在一个实施例中，互动式ui元件的语义意义亦可储存在rpa物件储存库1202中。66.在一个实施例中，储存在rpa物件储存库中的互动式ui元件可借由开发者测试以判定是否识别应用程序的视窗中的所有互动式ui元件。若未识别视窗中的一或多个互动式ui元件，则未经识别的互动式ui元件经标记为未发现或有问题的。67.在图5的步骤510处，记录对经储存互动式ui元件中的一或多个互动式ui元件执行的动作的rpa自动化。对经储存互动式ui元件中的一或多个互动式ui元件执行的动作由开发者执行。经记录rpa自动化可储存在rpa物件储存库中且用于界定rpa工作流程的活动。68.图13为根据本发明的一实施例的说明计算系统1300的方块图，所述计算系统经组态以执行本文中所描述的方法、工作流程及流程，包括图5的方法500。在一些实施例中，计算系统1300可为本文中所描绘及/或描述的计算系统中的一或多个。计算系统1300包括总线1302或用于传达资讯的其他通信机构，以及耦接至总线1302以用于处理资讯的处理器1304。处理器1304可为任何类型的通用或专用处理器，包括中央处理器(central processing unit；cpu)、专用集成电路(application specific integrated circuit；asic)、现场可编程门阵列(field programmable gate array；fpga)、图形处理器(graphics processing unit；gpu)、其多个个例及/或其任何组合。处理器1304亦可具有多个处理核心，且核心中的至少一些可经组态以执行特定功能。在一些实施例中可使用多并行处理。69.计算系统1300进一步包括用于储存待由处理器1304执行的资讯及指令的存储器1306。存储器1306可包含随机存取存储器(random access memory；ram)、只读存储器(read only memory；rom)、闪存、高速缓冲存储器(cache)、诸如磁盘或光盘的静态存储器，或任何其他类型的非暂时性电脑可读取介质或其组合的任一组合。非暂时性电脑可读取介质可为任一可用介质，其可由处理器1304存取且可包括挥发性介质、非挥发性介质或两者。介质亦可为可移除的、不可移除的或两者。70.另外，计算系统1300包括通信装置1308，诸如收发器，其根据任何当前现有或未来实施的通信标准及/或协定经由无线及/或有线连接提供对通信网络的存取。71.处理器1304进一步经由总线1302耦接至显示器1310，所述显示器适于向使用者显示资讯。显示器1310亦可经组态为触控显示器及/或任何合适的触觉i/o装置。72.键盘1312及光标控制装置1314，诸如电脑鼠标、触摸板等，进一步耦接至总线1302以使得使用者能够与计算系统介接。然而，在某些实施例中，可能不存在实体键盘及鼠标，且所述使用者可仅借由显示器1310及/或触摸板(未展示)与装置互动。根据设计选择，可使用任何类型及组合的输入装置。在某些实施例中，不存在实体输入装置及/或显示器。举例而言，使用者可经由与计算系统1300通信的另一个计算系统来和计算系统1300远程互动，或计算系统1300可自主地操作。73.存储器1306储存软件模组，所述软件模组在由处理器1304执行时提供功能性。所述模组包括用于计算系统1300的操作系统1316及一或多个额外的功能模组1318，其经组态以执行本文中所描述的流程或其衍生物的全部或部分。74.本领域技术人员将了解，「系统」可经体现为服务器、嵌入式计算系统、个人电脑、控制台、个人数字助理(personal digital assistant；pda)、蜂窝式电话、平板计算装置、量子计算系统或任何其他合适的计算装置，或装置的组合，且不偏离本发明的范围。将上文所描述的功能呈现为由「系统」执行不意欲以任何方式限制本发明的范围，但意欲提供本发明的许多实施例的一个实例。实际上，本文中所揭示的方法、系统及设备可以与包括云端计算系统的计算技术一致的经定位且分布形式来实施。75.应注意，本说明书中所描述的系统特征中的一些已经呈现为模组，以便更特定而言，强调其实施独立性。举例而言，模组可实施为硬件电路，硬件电路包含定制的超大规模集成(very large scale integration；vlsi)电路或门阵列、诸如逻辑芯片的现成半导体、晶体管或其他离散组件。模组亦可以可程序化硬件装置，诸如场可程序化门阵列、可程序化阵列逻辑、可程序化逻辑装置、图形处理器等等来实施。模组亦可至少部分地实施于软件中以供各种类型的处理器执行。可执行码的经识别单元可例如包括电脑指令的一或多个实体或逻辑区块，其可例如组织为物件、程序或功能。然而，经识别模组的可执行码无需实体上定位在一起，而是可包括储存于不同位置中的全异指令，其在逻辑上接合在一起时包含模组并达成模组所陈述的目的。此外，模组可储存于电脑可读取介质上且不偏离本发明的范围，电脑可读取介质可为例如硬盘机、闪存设备、ram、磁带及/或用于储存数据的任何其他此类非暂时性电脑可读取介质。实际上，可执行码的模组可为单一指令或许多指令，且甚至可遍及若干不同码段、在不同程序当中及跨越若干存储器装置分布。类似地，本文中可在模组内识别及说明操作数据，且操作数据可以任何合适形式实施，并组织于任何合适类型的数据结构内。操作数据可被收集为单一数据集，或可遍及不同位置分布，包括遍及不同储存装置分布，且可至少部分地仅作为电子信号存在于系统或网络上。76.前述仅说明本发明的原理。因此应了解，本领域技术人员将能够设计各种配置，尽管并未在本文中明确地描述或展示，但所述配置体现本发明的原理且包括于其精神及范围内。此外，本文中所叙述的所有实例及条件性语言主要预期仅用于教育目的以辅助读者理解本发明的原理及由本发明人贡献的概念以促进本领域，且所有实例及条件性语言应被理解为不限于所特定叙述的实例及条件。此外，本文中叙述本发明的原理、态样及实施例以及其特定实例的所有陈述意欲涵盖其结构等效物及功能等效物两者。另外，意欲此类等效物包括当前已知等效物以及在未来开发的等效物两者。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!