对于当今的企业来说,如何精细化运营来降本增效是其面临的最为重要的问题,而深度挖掘数据、充分利用数据的价值是企业精细化运营必不可少的一环。相关数据显示,72%的企业首选大数据应用需求是基于客户行为分析的大数据营销,其次产品创新、风险预测、供应链管理、客户服务等也是企业优先考虑的大数据应用。
在过去的 20 年中,大数据的架构发生了翻天覆地的变化。随着企业数据量的爆发式增长,而单机数据库或者本地数仓仅支持纵向拓展,这就造成了高成本,难度大的困境,因此水平拓展的“弹性”方案呼之欲出。Hadoop开创性的使用分布式文件系统、分布式计算架构,将大型数据的运算过程进行拆分,以计算的分布式替代数据本身的搬迁,一时间成为了最主流的技术架构。
随着云计算的兴起,数据行业开始向云原生的架构演化。随之而来的混合多云的环境、数据安全的加强、数据管理的分布式转变等需求,都使得数据使用的门槛大大提高,为此,Kyligence较早前就推出“智能数据云”平台,在做强分析能力的基础上增强了数据管理能力,以人工智能进一步替代人工工作,以云原生进一步替代基于 Hadoop 的基础架构,让数据服务与管理发挥核心作用,帮助企业智能管理最有价值数据,支持企业全面数字化转型。
在近日召开的Kyligence 2022 春季线上论坛上,Kyligence重点介绍了 “OLAP on 数据湖”企业级OLAP解决方案、产品运营新模式“云上数据分析代运营”、企业级指标中台等服务,旨在给与企业更加专业的数据治理,更好地提升企业内部的决策运行效率,最终在企业内外打造良好的数据生态闭环。
OLAP on 数据湖
Kyligence 提供基于云上数据湖的企业级 OLAP 能力。
在整体云的架构下, Kyligence 只依赖云的存储和计算资源。只要把数据部署到类似 S3 这样的云数据的存储上,再将服务应用起来,就拥有了SQL on S3 的能力。用户可以直接使用各种各样的 BI 工具,包括 Excel 等。同时,Kyligence还提供相应的能力来降低中间的存储成本、计算成本和数据使用成本。通过标准的 SQL 对接各种各样的前端数据工具,通过企业级的管控,更好、更安全地管理客户数据。
通过统一的语义层,Kyligence 为客户在云上构建了多维的数据集市。业务用户只需消费这样的数据集市,而无需关心这些是数据的来源(Oracle、Hadoop、Snowflake、Kafka)。通过 Kyligence 批流一体的能力,呈现给客户的就是业务数据的语义。
Kyligence 提供整个云上统一数据的访问入口,通过 Smart Pushdown 智能查询下压的能力,可以将 ANSI SQL 翻译成其他数据源。即使用户的数据集市没有被管理起来,也可以访问原始的数据源,将相应的 SQL 下压过去,拿到相应的记录返回给客户端。
此外,Kyligence 统一的数据集市层能够更好地为业务部门去使用,“一次定义,多次使用”。企业定义了一个统一的语义层,可以用到 Excel、Power BI、Tableau 以及其他更多的 BI 和数据消费工具中,用户通过标准的 SQL 语句都可以访问。
在这个过程中,Kyligence为客户提供了统一管控能力。客户所有数据的定义、安全管理、审计,都可以被管理起来,避免了像在 Excel 的场景中,将数据大量导出来之后,各处不受控地分发,帮助客户更好地做内部的数据合规工作。
在降低云端数据分析的总体拥有成本方面,用户可以将数据刷到 AWS S3,或者 Azure Blob Storage 上,Kyligence 直接提供 SQL 能力。Kyligence提供的弹性伸缩能力,可以根据集群的使用量在高峰期拿更多的数据资源出来,在消费的低谷释放出来,更经济地利用好集群。定时的启停集群功能则进一步降低了资源消耗。
总之,在数据湖上提供数据分析、自动化构建、自动化推荐等能力的大趋势下, Kyligence 通过统一语义层,将企业内部和外部所有的数据看作一个更大的数仓或数据湖,在其上面构建的整体能力,能够连接相应的数据。OLAP 的引擎则为特定的业务场景构建了相应的数据集市和索引,从而确保下游在访问数据的时候够快、够安全。
云上数据分析代运营
Kyligence 此次正式推出的云上数据分析代运营服务,以远程的方式帮助企业高效安全地运维 Kyligence 产品,并在现有的标准技术支持体系之上,额外提供集监控告警、定期服务健康检查、TCO 优化建议三位一体的增值服务,通过 7x24x365 不间断的主动的、预防式的、自动化运维的远程服务,保障客户业务的稳定运行。
关于安全性问题,Kyligence联合创始人兼CTO李扬表示,Kyligence云上数据分析代运营通常运行在用户自己的云账户下面。在应用级别,Kyligence的运维人员没有权限访问用户数据,只能帮用户做日常的IT运营。并且,Kyligence还有云上的各种安全管控资质认证,拥有SOC2 Type 1、ISO27001等证书。
企业级中台指标
对于大部分企业而言,数据赋能业务的关键在于“降低用户使用数据的门槛”。企业希望通过从技术语言到管理语言的抽象,让数据成为企业管理的有效抓手。这样一层平台经过多年的发展落地成了“以指标的统一管理和分析为核心”的指标中台。然而企业搭建指标中台的过程中,内部膨胀的ETL任务和中间表消耗大量资源,Kyligence多维数据库将是企业级指标中台的最佳技术底座。
Kyligence企业级指标中台产品技术解决方案,借助AI 增强的智能指标引擎,可以实现指标的智能建模、自动加工计算,大幅降低指标 ETL 开发工作量,加快指标开发与上线效率。李扬介绍说,指标中台一般分成原子指标和偏业务向的衍生和派生指标两部分。原子指标是公司集中管理的是统一口径的基础,不是每个业务人员可以随意自己改造的,而衍生和派生指标是业务创新的空间。他认为,每一个一线业务员都能够用一些数字化的方法来优化自己的工作,而这对于企业就意味着一个很有力的创新赋能,从而打造很完美的方案。
关于企业级指标中台具体落地时遇到的困难和挑战,Kyligence联合创始人兼CEO韩卿表示,当前客户的技术栈千变万化,例如生产制造企业在落地指标中台时会出现生产流水线调整不到位、生产工艺不现代化等问题,这都给指标中台的落地造成了一定困难。
李扬表示,企业在落地指标中台时,还需要提升数字化管理思维。Kyligence提供的技术能力非常适合在大数据分析和管理方面帮助企业打破技术能力的瓶颈。
结语
随着数据分析和管理需求的不断发展,企业的数据架构也在不断地迭代和完善。Kyligence 作为领先的企业级数据服务和管理厂商,将继续发挥自己的技术和服务优势,助力全球客户在云原生时代实现面向未来的数字化转型。