【51CTO.com原创稿件】2020年,信通院发布大数据报告中指出,企业运营中的数据只有56%能够被及时捕获,而这其中,仅有57%的数据得到了利用,也就是说,仅有32%的企业数据价值能够被激活。只有被使用的数据才是资产,因此众多企业也在利用工具和平台来充分发挥数据的价值,为业务提供洞察。
随着海量数据的激增,多个云平台、数据源的繁杂、技术间的整合和平台间的集成带来的难度,使得企业数据管理和分析的道路更加曲折,这也给 CIO 们带来了极大的焦虑,无法寻找到有价值的数据,这让企业在寻找数据上花费的时间远远超过分析数据本身。
Kyligence 联合创始人兼 CEO 韩卿表示 ,为更好地服务客户,解决企业在数据分析、管理及治理等方面的挑战, Kyligence 战略进行全面升级,在做强分析能力的基础上增强数据管理能力,以人工智能进一步替代人工工作,以云原生进一步替代基于 Hadoop 的基础架构,让数据服务与管理发挥核心作用,帮助企业智能管理最有价值数据,支持企业全面数字化转型。
Kyligence 联合创始人兼 CEO 韩卿
技术赋能 让数据随取随用
过去,数据分析工作多数都是依靠专业技术人员或者数据分析师来完成,而数据的使用者也是企业的高管或者决策者。随着数据量的增加,数据的复杂性增加,数据的管理模式、使用对象以及消费方式也变得不同。
在技术的快速发展演进下,更多企业开始建立混合多云环境,加之各国也正在严控数据安全,数据的管理从集中式向分布式转变,对于数据孤岛的整合思路将由汇聚(Collect)渐渐转向联接(Connect)。此外,数据的使用者也从过去的企业决策者向一线业务人员转变,更多的普通员工可以借助简单易用的数据平台来完成数据分析以及预测等工作。
而这一些列变化的背后,离不开技术的支撑。 Kyligence 联合创始人兼 CTO 李扬表示,技术可以帮助企业降低试错成本,借助效率更高的生产工具和技术平台,企业可以快速完成自身的数字化转型工作。
数据管理以及数据分析,是个对专业要求极高的工作,往往都需要具有专业能力的数据工程师、分析师来完成。如何降低数据使用的门槛? Kyligence 提出了智能数据云战略(Intelligent Data Cloud),希望借助智能数据云平台(Intelligent Data Cloud),让普通人使用数据像使用水电一样方便,随取随用,自助使用。
据了解,智能数据云是数据仓库、数据湖、湖仓一体等技术体系的继承和延续,既有数据湖低成本的存储可扩展性,也有数据仓库的强化数据结构和数据管理能力。同时,在此之上,智能数据云提供更高一层的业务数据对象管理能力,并从业务对数据的读写需求出发,使用 AI 增强的方式自动化和简化技术层面的人工数据操作和数据管理。向外,智能数据云提供普通人可用的数据服务;向内,智能数据云以业务为导向自动化数据的操作和管理。
在近日举办的 Data & Cloud Summit 2021 行业峰会上, Kyligence 4.5 新版本也随之正式发布,围绕全场景 OLAP 主题,融合各种技术创新和突破,通过借助机器学习和人工智能技术,为用户提供简单易用、高性能、高并发的 AI 增强的数据服务与管理平台,大大提升了数据工程的效率。
降低门槛 让人人都成为数据分析师
过去,掌控数据的人大多数都是数据工程师和技术工程师,但是这些人不懂业务,不能从业务角度对数据加以理解并组合,因此就不会产出更多有价值的业务洞察。只有懂业务的人员才知道怎样通过数据洞察来优化业务。因此, Kyligence 打造统一的业务语义层,帮助企业降低数据数用的门槛,降低企业试错成本,同时帮助业务人员打开新思路,创造更多的数据创新,从而运用数据来优化业务。
李扬介绍说,业务语义层分为两部分,上半部分是业务数据对象,包括指标、标签、多维分析模型和图模型等,而业务数据对象通过组合多个技术数据对象计算而来,如关系表、视图等。业务语义层的下半部分则是业务语义增强,为数据目录补充业务信息上下文,形成知识图谱和语义网络。借助业务语义功能,普通业务人员也可以看懂数据、使用数据,甚至通过关联整合创造新的数据集。
在不同 BI 工具中创建割裂的数据模型结构,会给企业带来不必要的数据分复杂度和业务指标定义的不一致。统一语义层给使用不同分析工具的所有用户提供了统一一致的业务指标和语义定义,减少了业务定义不一致所带来的数据口径问题。
Kyligence 技术合伙人兼产品创新中心副总裁李栋表示,企业对于业务语义层有着强烈需求,企业或多或少都存在数据割裂、数据不一致等问题。在 Kyligence 推出业务语义层的功能后,企业可以搭建统一语义层,从而在分析应用端创造更多智能化的产品。 Kyligence 与平安银行合作的“潘多拉”指标平台就是一个典型的案例,该平台让用户可以简单方便地通过指标或者智能推荐的方式来获取业务的深入洞察,从而改变了数据的日常开发模式,以及业务用户的数据应用模式,降低了数据开发的成本,提升数据应用的效率。
两大 OLAP 引擎结合 帮助企业寻找数据平衡点
据介绍, Kyligence 最新版本中全场景 OLAP 的核心是融合 Apache Kylin 和 ClickHouse 的技术优势,将 ClickHouse 有机融合在 Kyligence 产品的基座中,在原有聚合分析的高性能之上,更有效提升了明细分析、Ad-Hoc 查询等场景的性能和优势。Kyligence 能够为用户提供全面的 OLAP 服务能力,甚至进一步提供对 ClickHouse 的商业化支持。该功能同时在企业版(Kyligence Enterprise)和公有云版本(Kyligence Cloud)中提供。
Apache Kylin 和 ClickHouse 是业界主流的 OLAP 引擎,它们的存储原理、存储方式、编程语言都是不一样,为何 Kyligence 要将两大引擎融合呢?李扬告诉51CTO,大数据分析需要在数据的灵活与成本或性能之间寻找平衡。 ClickHouse 代表的是偏向灵活性的平衡点, Apache Kylin 则代表的是性能或者成本的平衡点,而用户对于两类需求都很强烈,并且出现了一个有意思的状态。
李扬解释道,当一个新业务产生,业务本身具备不确定性,因此数据分析没有固定的形态,也就没有标准或者统一的业务模型,这时候适合采用更加灵活的分析技术例如 ClickHouse 。但是随着业务的增长会变得逐渐稳定,甚至变为核心业务,这时数据分析就从之前探索阶段进入到比较稳定的、有模式的、有业务体系的状态,就需要归纳出具有标准的统一的业务主体模型,因此在技术层面也会从灵活性向成本和性能方面倾斜。如果这时底层数据系统无法支撑,企业就需要进行变革,将过去灵活性的分析技术替换为成本更低同时可以支撑统一业务层的数据治理技术。 Kyligence 看到企业在业务层面的需求动机,希望找到两种技术的平衡点,支撑企业从创新到成熟稳定的转变,因此将两大技术进行结合。
除此以外,Kyligence 4.5新版本还有几大新的功能特色:批流一体/实时能力进一步扩宽了全场景 OLAP 的能力,仅通过一个数据模型、一个 SQL 语句,就能同时接入批数据和流数据,对数据应用提供统一的查询出口;基于AI 增强引擎,根据业务分析行为自动化建模,灵活响应业务;完善了企业级运维管理体系,帮助企业实现多租户部署与管理,通过指标监控、告警等实现自动化生产运维;支持多个云平台,包括微软云 Azure、亚马逊云 AWS、华为云等公有云平台,企业可以灵活选择。
结语:数字经济时代,数据愈发重要,但是只有被利用、被分析的数据才是有价值的,更多的企业也在借助技术力量发现数据更深层次的洞察。从数据集市到数据仓库,从数据湖到湖仓一体,数据领域的技术层出不穷,满足着用户多样化的数据需求。Kyligence成立五年多来,一直坚持技术创新,专注在数据服务与管理方向,致力于改变人类使用数据的习惯。在云计算盛行的当下,Kyligence也将数据服务和管理与云原生技术相结合,让企业无需关注底层平台和技术,只需要聚焦于数据本身,实现随取随用的便捷,助力企业管理最有价值的数据,从容地实现数字化转型。
【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】