与时代同频共振,看青云大数据工作台如何激活数据资产

原创
大数据
与数据中台不同,青云大数据工作台采用云原生架构,没有基于传统的Hadoop体系的YARN来做资源调度,而是基于Kubernetes实现资源的调度,聚焦于数据使用场景,解决数据集成、流批一体计算、统一运维和统一数据服务共享的问题,通过一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。

随着新型智慧城市和数字城市的建设,各地的大数据和数字经济相关的园区加速落地,大数据产业规模持续增长。据赛迪顾问预计,到2023年,大数据产业规模将达到1万亿元,到2027年,将会达到1.8万亿元。

关于数据名词也层出不穷:数据库、数据湖、数据中台、数据仓库……其中,数据中台是在DT时代的大背景下,企业为实现数据快速、准确、低成本赋能业务发展目标,将数据进行统一整合,基于One Data方法论而搭建的平台。借助于数据中台,企业可以进行完善的、统一的数据加工和处理,对外提供数据服务能力。因此,整个数据中台需要有一个庞大的方法论来支撑,且目前市面上的数据中台,主要以大项目的定制化方式进行私有化的交付,成本较大,周期较长。

青云科技一直与大数据时代同频共振。从2014年到2018年,青云科技在广度上实现了数据产品和服务的全覆盖。从2018年至今,又在深度上对产品性能、服务质量、服务范围进行了全方位提升。目前,青云科技已经推出了近30款数据产品和服务,同时集成优秀的合作伙伴应用,形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储在内的数据产品生态,构建了一个完整的、可插拔的、全流程的大数据平台,从最初的数据源接入,到数据的处理,再到数据的呈现,提供了完整的数据处理流程,在任何环节都能提供客户所需的数据产品和服务。

多年来,在与客户的密切沟通与服务中,青云科技洞察到,客户的需求已经从最初的“底层资源”问题,逐步进阶到“数据层”问题,主要体现在数据同步、实时计算、统一监控和调度,以及权限控制、数据仓库、数据服务等典型场景的需求。基于这些真实需求,青云科技推出了大数据工作台。

一站式智能大数据开发与治理平台

青云大数据工作台通过整合青云科技完整的数据产品和服务,为客户提供了一个一站式智能大数据开发与治理平台,帮助客户降低大数据使用门槛,将代码开发降到最低,让非技术人员也能进行大数据分析。同时,通过青云大数据工作台,帮助客户实现数据在云平台各产品之间的快速流转,支撑上层业务,消除企业“数据孤岛”,实现数据的统一调度和计算,进而帮助企业挖掘数据价值,提升整体的数据洞察能力。

与数据中台不同,青云大数据工作台采用云原生架构,没有基于传统的Hadoop体系的YARN来做资源调度,而是基于Kubernetes实现资源的调度,聚焦于数据使用场景,解决数据集成、流批一体计算、统一运维和统一数据服务共享的问题,通过一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。

目前青云大数据工作台上线1.0版本,主要具备“数据集成、数据加工、统一数据存储和服务”功能模块,为企业数据价值挖掘提供支持。

从整体架构来看,青云大数据工作台共有五层架构,从底层到上层依次是:云原生、全托管式计算引擎、全生命周期数据开发、高效的数据同步服务、应对丰富的业务场景。用数据上云、数据开发、数据同步、作业运维调度、引擎资源管理五大模块,打通了大数据全链路。

青云大数据工作台六大特性

据青云QingCloud大数据产品经理刘雄风介绍,青云大数据工作台主要适用于精细化运营分析、实时计算、可视化开发运维、构建数仓场景,有六大产品特性。

首先是开箱即用。几分钟即可完成环境的创建和部署,即开即用、便捷高效,一键开启数据价值洞察之旅。

第二,弹性扩容。具备云原生弹性扩容的能力,可以帮助客户合理地节省资源,提高资源的使用率。通过提供细粒度管控,最小资源使用的粒度只需要0.5 CU,支持按量、包年包月计费,可以更好地适配不同的需求,价格低廉,安全稳定。

第三,存算分离。与青云的对象存储服务无缝衔接,海量数据可以高效、低成本的存储。也支持数据计算按需扩容,极具性价比。

第四,开放兼容。拥抱开源,百分百兼容Apache Flink,支持平滑上云,通过内嵌的Connector可以无缝对接主流的数据产品和开源大数据生态组件。同时,客户可以将原有的大数据任务迁移到青云大数据工作台上,进行统一的调度和监控,节省运维和调度成本。

第五,安全可靠。按照云原生的架构模式进行设计,可以基于多种基础设施进行部署。内部功能模块以微服务的方式划分为多个组件,彼此之间相互隔离,避免相互影响。同时,所有的服务都具备高可用和高扩展能力,可以在部分节点故障的情况下保障服务的可用性和数据的可靠性。

第六,生态整合。除了青云大数据工作台本身提供的服务外,还可以在云上与其他产品紧密整合,连通云平台上孤立的多种数据存储的服务,让客户在云平台上的数据流转更加便捷。

加速物联网和工业数智化进程

青云大数据工作台主要聚焦在新兴领域,以物联网和工业大数据为代表,并落地应用了青云大数据工作台融合KubeSphere容器平台、IoT平台“三位一体”的技术方案。

青云大数据工作台、KubeSphere容器平台、IoT平台“三位一体”技术方案

某行业领先的工业自动化测试设备与整线系统解决方案厂商,其数据源涵盖多种维度,包括机加工设备、物联网中的SMT设备和AGV设备、立库,将来还有可能会引入质监相关设备。除了生产以外,还有企业本身运营相关的IoT数据,包括水电气、空调供暖、给排水、门闸、温湿度以及各类楼宇、园区运营的数据。客户急需统一的数据接收和存储、统一的数据API服务,以及对接物联网平台,建设统一的“物联网+大数据”平台。

通过落地青云提供的技术方案,由IoT平台对不同数据源进行“云、网、边、端”的统一控制,客户可将数据通过消息中间件进行统一传输到大数据工作台,做原始库数据集成的操作。数据存储到原始数据库后,客户可以将原始库单独对外提供数据权限、数据存储和数据查询的服务。对于原始库的存储数据,客户还能进行数据的二次加工,形成最终结果库。而结果库同样可以对外提供数据权限、数据存储和数据查询的服务。

未来,除了智慧工业,青云科技还将把大数据工作台应用到智慧零售、智慧政务和智慧校园,覆盖到四个“数智”化场景,持续产生“数智”化价值。

责任编辑:赵立京 来源: 51CTO
相关推荐

2022-04-02 16:53:17

青云科技云原生KubeSphere

2017-01-10 14:28:01

数据管理大数据SAP

2024-09-24 12:50:06

2021-01-22 10:19:49

IT业务部门IT管理层

2015-03-25 17:24:48

大数据时代大数据数据资产

2017-12-14 09:41:13

青云全模云

2021-07-30 20:45:13

大数据大数据安全

2016-09-14 15:43:01

数据资产

2018-07-23 14:51:22

2011-12-24 14:16:42

惠普IT绩效管理信息优化

2014-12-25 14:28:47

大数据IDC

2020-07-23 09:38:26

大数据隐私技术

2017-11-30 15:17:47

大数据云时代公安机关

2024-09-26 17:57:51

2012-02-27 09:39:11

数据中心大数据

2015-08-13 10:56:47

数据挖掘

2021-08-03 22:56:01

大数据流量软件

2013-08-20 09:26:03

大数据时代hadoop
点赞
收藏

51CTO技术栈公众号