内存内计算技术帮助运营系统将运营智能化变为现实

译文
大数据 云计算
内存内数据网格能够为金融交易、购物车内容、监控信息流以及其它运营数据带来实时响应机制。

运营系统负责管理我们的财务、采购、设备以及其它各类日常事务。如果能在这些系统当中引入实时分析机制,那么用户将能够根据状态变化获取到实时响应结果,从而拥有立即可用且***针对性的反馈结论。这种分析技术使用方式被称为运营智能化,而且市场对于这类方案的需求正快速增长且变得愈发迫切。

举例来说,金融交易类应用程序必须能够快速针对当前市场状况的波动作出响应,这是因为市场数据流会贯穿并影响到整套交易体系。电子商务系统则必须以秒为单位检查库存变化情况,并据此对订单可用性做出调整; 除此之外,这类系统还需要快速响应购物活动,从而带来更具个性化特色的货品推荐清单。智能化电网监控系统则需要对来自多个来源的数据进行遥测与持续分析,从而在预测结果之余针对电网体系中可能出现的意外变化做出响应。

在前面提到的各类实例当中,实时且快速变更的数据集必须能够与活跃且瞬息万变的即时操作结合在一起。以实时方式对当前数据做出响应的优势——例如根据当前购物车中的已有内容为买家推荐更多可能需要的货品——已经得到了广泛认可,既令人信服又触手可及。而将内存内计算与数据并行分析加以整合并运行在同一套商用服务器集群当中,则能够支撑各业务系统以持续方式追踪并分析实时数据、提取重要模式并生成足以指导系统行为的即时反馈信息。这项技术已经能够在多种被统称为内存内数据网格(简称IMDG)的软件方案当中找到,其在过去十年当中的不断演变切实帮助企业以更为高效且科学的方式管理着自己的运营系统。

内存内数据网格究竟是什么?

作为内存内数据网格,其***特征在于将数据保存在内存当中并将其分发至整个由商用服务器所构成的集群体系(也可以是运行在云环境下的多套虚拟服务器系统)。利用面向对象的数据存储模式,内存内数据网格能够提供专门用于读取并更新数据对象的API,而且其延迟表现相当出色——通常低于1毫秒,具体情况取决于对象的实际大小。这样一来,运营系统就能够利用内存内数据网格对由系统状态追踪所生成的“实时”数据进行存储、访问以及快速更新,甚至能够在存储工作负载量不断扩展的情况下始终维持良好而快速的访问时间水平。

内存内数据网格采用的是“弹性”存储机制,也就是说大家可以单纯通过添加或者移除服务器设备来对存储容量以及数据吞吐能力进行上调或者缩减。除此之外,这类技术方案所采用的内存内数据存储方式还能带来出色的可用性表现,从而为企业带来可靠的持续可用水平。服务器单元即使出现故障并需要进行恢复——或者是企业需要向集群当中添加或者从中移队部分服务器——整体运营都不至于遭受中断。

也许最重要的是,内存内数据网格机制能够充分发挥集群的计算性能优势,从而以数据并行计算方式对所存储的数据进行处理。由于数据与计算性能同处于一套整体环境之下,因此避免了数据移动这一老大难问题,这也是内存内数据网格能够在***资源消耗前提下实现高速处理效果的秘诀(通常能够在一秒钟之内完成)。有鉴于此,内存内数据网格非常适合面向运营系统状态的快速分析并立即提供反馈信息。

 

 

一套内存内数据网格能够被用于构建多种真实世界中的系统模式——其中包括在线购物、股票交易、库存管理以及电视节目观看等等——同时能为运营系统提供实时反馈信息。

对运营系统进行建模以实现运营智能化

运营系统通常包含一整套规模庞大的动态实体群组,例如金融交易系统当中的股票组合、电子商务网站中的在线购物者浏览操作以及有线电视网络当中来自观众的机顶盒控制行为等等。这些实体会创造出事件流,这些流信息必须与丰富的离线数据进行关联(例如客户的偏好内容或者历史浏览内容),进而从中发现使用模式及消费趋势。

如果这类分析工作能够以实时方式完成,那么反馈结果将可以被交付至运营系统、进而实现功能强化以及执行效率提升。举例来说,根据市场波动情况触发对应的股票交易操作,为购物者提供各类相关货品推荐,整合出***个性化的建议内容并根据观看喜好与当前可选节目提醒有线电视观众选择适合自己的促销套餐。

为了实现实时分析机制,目前最常见的做法在于专注分析输入数据流并在流内对数据作出响应。这类实例相当普遍,包括利用Apache Storm在金融服务以及信息流当中实现复杂事件处理——Apache Storm是一套并行平台,最初的设计目的在于对Twitter数据流加以分析。

然而,专注于事件处理并不足以为真实世界中各类实体行为的建模工作提供一套完整的框架,因为除了事件流之外、历史记录与背景信息也必须被归入考量范围当中。利用内存内模式囊括各类由运营系统负责托管的实时世界实体,内存内数据网格就能将不同输入事件关联起来并利用离线信息对其进行补充,从而真正汇总出一套能够用于指导实时分析工作的综合性背景资料。这类分析机制所生成的输出结果随后可以被直接交付回系统本身,从而为企业运营带来理想的增值效果。当然,此类结果也能够帮助相关工作人员更好地对整套系统加以监控。

#p#

利用内存内数据网格实现运营智能化

内存内数据网格正是最值得大家采纳的内存内处理模式,适用于各类运营系统中的活动实体以及对这些实体所带来的输入事件加以持续追踪,同时利用相关历史信息对其作出补充并整合出一套行为汇聚型并行分析方案。这种内存内实施机制能够充分发挥内存内数据网格所固有的面向对象存储模式优势,从而将由各功能实体所产生的内存内数据进行高效汇总。

由于内存内数据网格既具备弹性又拥有高可用性,因此足以处理高可变性工作负载并运行在负责承载关键性任务的运营系统当中。内存内数据网格的并行数据计算引擎保证其能够对模型当中的各类状态变化作出快速分析,并将反馈结果立即提交给系统自身,同时又能持续对全部实体中所表现出的新兴趋势进行捕捉与整理。

 

 

内存内数据网格技术的一类典型用例在于对在线购物者进行建模,从而根据其个人喜好提供个性化货品推荐。

内存内数据网格的实际应用

现在我们不妨设想某高人气在线购物网站希望对购物者的点击流数据进行分析,从而为用户提供更具个性化特色的货品推荐。在这种情况下,内存内数据网格能够为每一位购物者构建一套内存内模型,并根据该用户的点击流数据对模型进行持续更新。利用面向对象方案,内存内数据网格会根据基于内存的对象对每一位购物者加以体现,其中包含有按时间排序的点击流事件动态收集信息以及个人喜好乃至历史购物模式(这部分内容由次级存储体系负责保存)。

这种面向对象的审视方式能够更为轻松地将输入事件关联起来,并提供根据购物活动所总结得出的持续性并发数据分析结论,这两类信息都能以实时方式生成、被汇总为个性化货品推荐交付给各位独立购物者且以全体购物者为基础整理出新兴消费趋势(例如修改***的货品或者预估客户对所购买产品的满意程度)。

内存内数据网格机制还具备一整套天然软件架构,足以在有线电视机顶盒用户打开电视机时追踪所发生的事件——包括何时关机以及何时切换频道。这套内存内模式能够将每一台机顶盒作为独立单元进行输入事件关联,并根据既定规则将其中不具备指导意义的事件排除出去(例如观众随机切换频道的行为),而后利用节目信息对结果加以补充、从而了解与观众相关的各类信息(例如观看历史、个人特点以及节目喜好等)。

这种面向每一位观众的整合型数据集可以根据节目或者喜好情况汇总出更科学且贴合用户喜好的推荐内容,而且分析流程也能够以并发执行的方式涵盖全部活跃观众。为了让大家进一步理解内存内数据网格的强大能力,我们不妨共同了解这样一个实例:最近进行的一次1000万个有线电视机顶盒模拟分析研究中,我们发现内在内处理模式(所需处理的数据问题约为80GB,其中包括信息副本)每秒能够对约25000个事件进行关联与补充,而且这套由Amazon EC2负责托管、由12台商用服务器共同构成的集群每十秒钟就可以对全部1000万个机顶盒进行一次并发分析。

总结陈词

将实时智能化机制引入运营系统无疑给计算引擎提出了新的挑战。这类引擎必须有能力获取规模庞大的输入事件,对数据进行关联与补充,而后快速对其加以分析。由此产生的反馈结论则必须在时效性周期之内进行提交,从而保证分析结果能够切实带来业务优势——具体时间通常在数毫秒乃至数秒之间。

作为一套专门面向运营系统设计并实施的弹性、基于内存的存储及数据并发计算方案,内存内数据网格带来的高效平台能够有效实现运营智能化这一发展目标。其能力足以管理面向一整套真实世界系统的内存内模型,追踪其中所发生的变更,同时为模型实时分析提供必要的任务简化效果以及所需的处理性能资源。运营智能化的实际效益目前可谓初露端倪,相信其中所蕴藏的将是规模庞大至难以想象的可观商业机遇。

英文:http://www.infoworld.com/article/2846422/application-development/in-memory-computing-real-time-intelligence.html

责任编辑:林师授 来源: 51CTO
相关推荐

2014-04-16 13:44:21

开放传输交换机OTSSDN

2019-11-11 14:35:44

腾讯

2011-09-29 15:32:30

智能化

2016-08-16 00:29:18

2024-02-19 10:41:38

物联网

2020-03-31 09:55:31

AIOps人工智能AI

2014-12-22 09:49:47

云计算IaaSPaaS

2011-09-05 10:07:03

多媒体融合通信智能化

2011-11-29 09:56:33

云计算数据中心

2017-05-05 10:39:14

5G网络转型

2013-07-09 14:53:08

红帽虚拟化平台农信银

2016-01-13 10:11:20

智能化运维运维自动化运维

2009-10-16 11:10:12

综合布线系统

2019-08-22 15:42:03

2021-01-23 07:53:49

人工智能AI

2021-03-26 10:14:49

物联网增强现实IOT

2019-12-13 16:33:22

云测TestinAI

2021-02-24 16:05:42

技术研发内存

2018-09-28 14:18:52

华为网络能源中国行
点赞
收藏

51CTO技术栈公众号