随着新型智慧城市和数字城市的建设,各地的大数据和数字经济相关的园区加速落地,大数据产业规模持续增长。据赛迪顾问预计,到2023年,大数据产业规模将达到1万亿元,到2027年,将会达到1.8万亿元。
关于数据名词也层出不穷:数据库、数据湖、数据中台、数据仓库……其中,数据中台是在DT时代的大背景下,企业为实现数据快速、准确、低成本赋能业务发展目标,将数据进行统一整合,基于One Data方法论而搭建的平台。借助于数据中台,企业可以进行完善的、统一的数据加工和处理,对外提供数据服务能力。因此,整个数据中台需要有一个庞大的方法论来支撑,且目前市面上的数据中台,主要以大项目的定制化方式进行私有化的交付,成本较大,周期较长。
青云科技一直与大数据时代同频共振。从2014年到2018年,青云科技在广度上实现了数据产品和服务的全覆盖。从2018年至今,又在深度上对产品性能、服务质量、服务范围进行了全方位提升。目前,青云科技已经推出了近30款数据产品和服务,同时集成优秀的合作伙伴应用,形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储在内的数据产品生态,构建了一个完整的、可插拔的、全流程的大数据平台,从最初的数据源接入,到数据的处理,再到数据的呈现,提供了完整的数据处理流程,在任何环节都能提供客户所需的数据产品和服务。
多年来,在与客户的密切沟通与服务中,青云科技洞察到,客户的需求已经从最初的“底层资源”问题,逐步进阶到“数据层”问题,主要体现在数据同步、实时计算、统一监控和调度,以及权限控制、数据仓库、数据服务等典型场景的需求。基于这些真实需求,青云科技推出了大数据工作台。
一站式智能大数据开发与治理平台
青云大数据工作台通过整合青云科技完整的数据产品和服务,为客户提供了一个一站式智能大数据开发与治理平台,帮助客户降低大数据使用门槛,将代码开发降到最低,让非技术人员也能进行大数据分析。同时,通过青云大数据工作台,帮助客户实现数据在云平台各产品之间的快速流转,支撑上层业务,消除企业“数据孤岛”,实现数据的统一调度和计算,进而帮助企业挖掘数据价值,提升整体的数据洞察能力。
与数据中台不同,青云大数据工作台采用云原生架构,没有基于传统的Hadoop体系的YARN来做资源调度,而是基于Kubernetes实现资源的调度,聚焦于数据使用场景,解决数据集成、流批一体计算、统一运维和统一数据服务共享的问题,通过一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。
目前青云大数据工作台上线1.0版本,主要具备“数据集成、数据加工、统一数据存储和服务”功能模块,为企业数据价值挖掘提供支持。
从整体架构来看,青云大数据工作台共有五层架构,从底层到上层依次是:云原生、全托管式计算引擎、全生命周期数据开发、高效的数据同步服务、应对丰富的业务场景。用数据上云、数据开发、数据同步、作业运维调度、引擎资源管理五大模块,打通了大数据全链路。
青云大数据工作台六大特性
据青云QingCloud大数据产品经理刘雄风介绍,青云大数据工作台主要适用于精细化运营分析、实时计算、可视化开发运维、构建数仓场景,有六大产品特性。
首先是开箱即用。几分钟即可完成环境的创建和部署,即开即用、便捷高效,一键开启数据价值洞察之旅。
第二,弹性扩容。具备云原生弹性扩容的能力,可以帮助客户合理地节省资源,提高资源的使用率。通过提供细粒度管控,最小资源使用的粒度只需要0.5 CU,支持按量、包年包月计费,可以更好地适配不同的需求,价格低廉,安全稳定。
第三,存算分离。与青云的对象存储服务无缝衔接,海量数据可以高效、低成本的存储。也支持数据计算按需扩容,极具性价比。
第四,开放兼容。拥抱开源,百分百兼容Apache Flink,支持平滑上云,通过内嵌的Connector可以无缝对接主流的数据产品和开源大数据生态组件。同时,客户可以将原有的大数据任务迁移到青云大数据工作台上,进行统一的调度和监控,节省运维和调度成本。
第五,安全可靠。按照云原生的架构模式进行设计,可以基于多种基础设施进行部署。内部功能模块以微服务的方式划分为多个组件,彼此之间相互隔离,避免相互影响。同时,所有的服务都具备高可用和高扩展能力,可以在部分节点故障的情况下保障服务的可用性和数据的可靠性。
第六,生态整合。除了青云大数据工作台本身提供的服务外,还可以在云上与其他产品紧密整合,连通云平台上孤立的多种数据存储的服务,让客户在云平台上的数据流转更加便捷。
加速物联网和工业数智化进程
青云大数据工作台主要聚焦在新兴领域,以物联网和工业大数据为代表,并落地应用了青云大数据工作台融合KubeSphere容器平台、IoT平台“三位一体”的技术方案。
青云大数据工作台、KubeSphere容器平台、IoT平台“三位一体”技术方案
某行业领先的工业自动化测试设备与整线系统解决方案厂商,其数据源涵盖多种维度,包括机加工设备、物联网中的SMT设备和AGV设备、立库,将来还有可能会引入质监相关设备。除了生产以外,还有企业本身运营相关的IoT数据,包括水电气、空调供暖、给排水、门闸、温湿度以及各类楼宇、园区运营的数据。客户急需统一的数据接收和存储、统一的数据API服务,以及对接物联网平台,建设统一的“物联网+大数据”平台。
通过落地青云提供的技术方案,由IoT平台对不同数据源进行“云、网、边、端”的统一控制,客户可将数据通过消息中间件进行统一传输到大数据工作台,做原始库数据集成的操作。数据存储到原始数据库后,客户可以将原始库单独对外提供数据权限、数据存储和数据查询的服务。对于原始库的存储数据,客户还能进行数据的二次加工,形成最终结果库。而结果库同样可以对外提供数据权限、数据存储和数据查询的服务。
未来,除了智慧工业,青云科技还将把大数据工作台应用到智慧零售、智慧政务和智慧校园,覆盖到四个“数智”化场景,持续产生“数智”化价值。