大数据平台架构:数据平台建设的几种方案

大数据
随着大数据在越来越多的企业当中落地,企业要开展大数据相关的业务,那么首先要搭建起自身的数据平台。而企业搭建大数据平台,往往需要结合成本、业务、人员等各方面的因素,来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。

随着大数据在越来越多的企业当中落地,企业要开展大数据相关的业务,那么首先要搭建起自身的数据平台。而企业搭建大数据平台,往往需要结合成本、业务、人员等各方面的因素,来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。

[[358477]]

数据平台其实在企业当中一直都是存在的,但是进入到数据爆发式增长的大数据时代,传统的企业级数据库,在满足数据管理应用上,并不能完全满足各项需求。

对于企业而言,基于大数据背景下的企业数据管理应用,也需要更加符合需求的数据平台建设方案。

主流数据平台建设方案

从市场主流选择来看,企业数据平台建设方案,目前大致有以下几种:

1、常规数据仓库

数据仓库的重点,是对数据进行整合,同时也是对业务逻辑的一个梳理。数据仓库虽然也可以打包成SAAS那种Cube一类的东西来提升数据的读取性能,但是数据仓库的作用,更多的是为了解决公司的业务问题。

2、敏捷型数据集市

数据集市也是常见的一种方案,底层的数据产品与分析层绑定,使得应用层可以直接对底层数据产品中的数据进行拖拽式分析。数据集市,主要的优势在于对业务数据进行简单的、快速的整合,实现敏捷建模,并且大幅提升数据的处理速度。

3、MPP(大规模并行处理)架构

进入大数据时代以来,传统的主机计算模式已经不能满足需求了,分布式存储和分布式计算才是王道。大家所熟悉的Hadoop MapReduce框架以及MPP计算框架,都是基于这一背景产生。

MPP架构的代表产品,就是Greenplum。Greenplum的数据库引擎是基于Postgresql的,并且通过Interconnnect神器实现了对同一个集群中多个Postgresql实例的高效协同和并行计算。

4、Hadoop分布式系统架构

当然,大规模分布式系统架构,Hadoop依然站在不可代替的关键位置上。雅虎、Facebook、百度、淘宝等国内外大企,最初都是基于Hadoop来展开的。

Hadoop生态体系庞大,企业基于Hadoop所能实现的需求,也不仅限于数据分析,也包括机器学习、数据挖掘、实时系统等。企业搭建大数据系统平台,Hadoop的大数据处理能力、高可靠性、高容错性、开源性以及低成本,都使得它成为首选。

[[358478]]

关于大数据平台架构,数据平台建设的几种方案,以上就为大家做了一个简单的介绍了。企业基于大数据平台建设的需求,对于专业人才的需求度也正在增加,具备过硬技术实力的大数据人才,将受到更高程度的青睐。 

 

责任编辑:庞桂玉 来源: 腾讯云
相关推荐

2021-02-22 10:55:59

大数据大数据平台数据平台建设

2019-12-12 10:22:16

大数据平台大数据安全大数据

2011-08-12 11:14:42

大数据数据分析平台架构

2019-12-24 08:11:39

大数据架构数据开发

2017-06-20 09:54:18

大数据架构数据分析

2017-02-28 21:23:34

大数据采集架构分析

2017-06-19 13:10:59

大数据大数据平台架构

2021-02-22 10:32:53

大数据大数据平台大数据技术栈

2019-09-20 13:24:39

工业物联网大数据工业大数据

2014-07-24 09:08:07

大数据平台架构

2017-06-22 11:03:58

大数据大数据平台架构技术

2018-04-27 13:11:02

数据平台分析数据整合

2017-07-03 13:53:17

大数据大数据平台数据治理

2017-12-01 19:02:33

Airbnb大数据平台

2020-03-21 14:46:47

数据仓库架构数据平台

2020-09-15 18:46:54

数据平台Lambda架构

2021-02-22 11:03:25

大数据大数据平台架构

2018-09-16 15:40:06

大数据平台数据仓库架构

2016-01-28 10:26:59

大数据平台大数据采集架构分析

2015-08-31 14:57:11

大数据处理
点赞
收藏

51CTO技术栈公众号