【51CTO.com快译】什么是机器人数据自动化 (Robotic Data Automation 以下简称 RDA)
机器人数据自动化 (RDA) 是一种新模式，它有助于自动化数据集成和数据准备活动，这些活动涉及到处理用于分析和人工智能/机器学习应用程序的机器数据。RDA 不仅仅是一个框架，还包含了一套实现数据自动化的技术和产品能力。
RDA 使企业能够大规模操作机器数据，从而推动人工智能。
RDA 在企业领域具有广泛的适用性，首先，CloudFabrix 采用 RDA 框架并将其应用于解决 AIOps 问题——以帮助简化和加速 AIOps 实现，并使其更加开放和可扩展。
RDA使用数据机器人自动执行重复的数据集成、清理、验证、成形、丰富和转换活动，这些数据机器人被调用以在“低代码”数据工作流或管道中连续工作。RDA有助于轻松地将数据移入和移出AIOps系统，从而简化和加速AIOps实现，否则这些实现将依赖于大量手动数据集成和专业服务活动。
为什么需要 RDA
AIOps需要处理从各种混合 IT 数据源获得的大量数据，这些数据分布在本地、云和边缘环境中。这些数据有多种格式和交付模式。此外，此类数据处理的结果还需要与 IT 生态系统中的其他工具（例如：ITSM/闭环自动化/协作工具和 BI/报告工具）进行交换。
所有这些都需要以高效、可重用和可扩展的方式集成、摄取、准备、验证、清理、转换、整合、分析和将数据移入或者移出 AIOps 系统。这些基本任务在 AIOps 实施中常常被忽略，并且导致了严重的延迟和增加了 AIOps 项目的成本。
挑战
让我们了解一下在实施 AIOps 项目时，数据准备和数据集成活动中的一些关键挑战。
• 不同的数据格式（文本/二进制/json/XML/CSV）、数据传输模式（流、批处理、批量、通知）、编程接口（API/Webhooks/Queries/CLI）
• 复杂的数据准备活动，包括完整性检查、清理、转换和行成数据（聚合/过滤/排序）
• 原始数据通常缺乏应用程序或服务上下文，需要从外部系统引入上下文来进行更新实时数据。
• 实施数据工作流需要专业的编程/数据科学技能
• 源系统或目标系统的更改需要重写/更新连接器
AIOps 中数据处理的传统方法
在传统方法中，AIOps 供应商提供了一组现成的集成，将 AIOps 解决方案连接到数据源，处理数据的方法和结果如下：
• 数据采集、处理和集成的黑盒方法。
• 用例和场景仅限于平台支持的内容。
• 集成大多是预定义/硬编码的限制重用。
• 需要专业/编程技能（Javascript、Python 等）的复杂脚本模块或说明书。
• 难以引入外部集成，用于间歇数据处理（例如：富集）。
• 难以以编程方式访问数据，以实现补充功能（例如：脚本、报告、仪表板、自动化等的数据访问）。
这些都是通过增加延迟和成本（手动数据准备/处理活动）来有效处理 AIOps 的障碍。
短时需求：AIOps 的机器人数据自动化
机器人数据自动化 (RDA)是AIOps 2.0 的关键技术
RDA 的自动化 DataOps，类似于 RPA 自动化业务流程。RDA是AIOps平台不可分割的一部分，可提供增强的数据准备和集成功能能力。RDA 既是一个数据自动化框架，也是一个加速和简化AIOps实现中所有数据处理的工具箱。
重点
• 使用数据机器人实现低代码数据管道。
• 原生 AI/ML 机器人程序。
• CFXQL — 统一查询语言。
• 内联数据映射。
• 数据完整性检查。
• 数据屏蔽、编辑和加密。
• 数据整合：聚合/过滤/排序。
• 数据提取/指标获取。
• 合成数据。
好处
• 简化和加速 AIOps 用例的实现。
• 减少与数据准备和集成相关的时间/工作/成本。
• 适用于 DevOps/ProdOps 人员（不需要数据科学家技能）。
用例和场景
• 日志集群： 从云和本地获取应用程序日志，运行 ML 模型以集群日志，将结果推送到Kibana/CFX仪表板。
• CMDB 同步：从 CFX 获取最新的资产清单并将其推送到CMDB。
• 从合作伙伴/子公司 ITSM 到客户ITSM的标签电子绑定（例如：BMC 事件到 ServiceNow）。
• 事件 NLP 分类：从 ServiceNow 获取标签，OpenAI（GPT-3）进行NLP分类，并在 ServiceNow 中丰富标签。
• 异常检测：从Prometheus（或任何监控工具）获取节点的历史 CPU 使用率（每小时）。应用回归在Slack上发送一条消息，并将异常列表作为附件。
• 标签集群：从ServiceNow获取最近 24 小时的事件，对标签应用集群，并将结果推送到新数据集，以便在 CFX 仪表板中进行可视化。
• 变更检测：获取AWS EC2 虚拟机的基准清单，并与当前状态进行比较以突出计划外的变更。
原文标题：Taming the Data Problem and Accelerating AIOps Implementations With RDA，作者：Tejo Prayaga
【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】
