51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

Hadoop

837内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 837 条
大数据新人应该了解的Hadoop中的各种文件格式
几周前，我写了一篇有关Hadoop的文章，并谈到了它的不同部分。 以及它如何在数据工程中扮演重要角色。 在本文中，我将总结Hadoop中不同的文件格式。 本主题将是一个简短而快速的主题。

2020-04-26 10:49:37

大数据Hadoop文件格式
大数据系列之Hadoop的资源管理模块YARN
在之前文章中介绍过hadoop1与hadoop2架构的区别是hadoop2将资源管理功能从MapReduce框架中独立出来，也就是现在的YARN模块。

2020-04-22 14:34:42

大数据Hadoop技术
读了十本书丨Hadoop大数据分析及数据挖掘读书笔记，一文总结
个人看完这一章，对于数据挖掘的落地有了一个大概得了解，我们选择、使用、学习这些大数据的技术应该是结果导向的，这里会让人更清晰去选择技术，使用技术。

2020-04-17 15:23:21

Hadoop数据挖掘数据分析
大数据分析系统Hadoop的13个开源工具，你知道几个？
本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

2020-04-08 16:41:18

大数据Hadoop工具
如何在Hadoop上建立数据仓库
大数据平台上的数据仓库是许多组织正在探索的标准用例。采用这种方法的原因可能是大数据平台提供的许多灵活性之一。

2020-04-06 13:52:45

数据仓库大数据平台Hadoop
三分钟读懂Hadoop、HBase、Hive、Spark分布式系统架构
我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础。

2020-04-03 15:35:53

HadoopHBaseSpark
探索Hadoop与数据仓库之间的关系
在大数据世界中用于BI和分析的新平台的需求，并描述了三种常用的基本数据架构：数据仓库，大规模并行处理系统(MPP)和Hadoop。

2020-04-03 15:22:49

Hadoop数据仓库数据库
带你快速搭建Hadoop运行环境
Hadoop 是一个分布式系统基础架构，在大数据领域被广泛的使用，它将大数据处理引擎尽可能的靠近存储，Hadoop 最核心的设计就是 HDFS 和 MapReduce，HDFS 为海量的数据提供了存储，MapReduce 为海量的数据提供了计算。这篇文章主要就是介绍一下如何搭建一个 Hadoop 运行环境。

2020-04-01 11:11:35

Hadoop运行环境分布式
你还在用这种方法搭建Hadoop吗？
戴尔易安信Isilon是一个成熟的数据湖解决方案，它的OneFs操作系统支持丰富数据访问协议，当一种协议写入数据湖的文件，可以马上通过其他协议被访问。

2020-03-04 14:05:35

戴尔
Apache Hadoop代码质量：生产VS测试
让我们看一下PVS-Studio静态分析器警告，以查看测试错误并不比生产错误更严重这一事实的重要性。当今的焦点：Apache Hadoop。

2020-01-13 15:38:33

Hadoop代码项目
Hadoop 3的主要优缺点
本文的目的是讨论Hadoop 3.0的优缺点。随着Hadoop 3.0中引入了许多更改，它已成为更好的产品。

2020-01-09 10:44:47

Hadoop 3缺点优点
从Hadoop到Spark和Flink，大数据处理框架十年激荡发展史
本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。

2019-11-29 15:47:42

HadoopSparkFlink
合理建立Hadoop数据库的7个步骤
数据湖的概念起源于大数据的出现——且数据已成为企业的核心资产，Hadoop则是作为存储和管理数据的平台而出现。但是，盲目地投入Hadoop数据湖建设并不一定会使您的企业进入大数据时代——至少不是以一种成功的方式。

2019-11-18 21:11:37

Hadoop数据湖数据科学
HDFS架构详解！会了这个，Hadoop还难理解吗？
Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。包括HDFS(分布式文件系统)，YARN(分布式资源调度系统)，MapReduce(分布式计算系统)，等等。

2019-11-06 08:54:21

HDFSHadoopMapReduce
兄弟，这种思路讲解HDFS你肯定没见过，快速入门Hadoop必备
大数据技术主要要解决的问题的是大规模数据的计算处理问题，那么首先要解决的就是大规模数据的存储问题。

2019-11-05 09:35:26

HDFSHadoopRAID
Hadoop 生态之 MapReduce 及 Hive 简介
Hadoop 是一个计算框架，目前大型数据计算框架常用的大致有五种：仅批处理框架：Apache hadoop；仅流处理框架：Apache Storm、Apache Samza；混合框架：Apache Spark、Apache Flink.

2019-10-31 09:52:02

HadoopJava大数据
大数据干货：Hadoop 面试中 7 个必问问题及答案
Hadoop是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。

2019-10-30 15:08:09

大数据Hadoop数据中心
10分钟零基础就可搞懂的Hadoop架构原理，阿里架构师详解
我今天花了大半个下午的时间，写了这篇hadoop的架构，全篇都是以大白话的形式，也算是为后面更加详细的每一部分开了个好头吧，如果喜欢请点转发和关注，如果有疑问，直接在评论里说出来，大家一起解决，才能进步。

2019-10-24 15:15:19

Hadoop框架数据
10分钟零基础就可搞懂的Hadoop架构原理，阿里架构师详解
我今天花了大半个下午的时间，写了这篇hadoop的架构，全篇都是以大白话的形式，也算是为后面更加详细的每一部分开了个好头吧，如果喜欢请点转发和关注，如果有疑问，直接在评论里说出来，大家一起解决，才能进步。

2019-10-24 11:03:56

HadoopGoogle硬件
公司如何选择数据库？DynamoDB、Hadoop和MongoDB 大比拼
随着公司数据存储方式的不断扩展，本文旨在比较公司使用的一些更现代的数据库系统——了解DynamoDB，Hadoop和MongoDB可以提供哪些功能将帮助用户针对业务模型做出更好的决策。

2019-10-23 15:06:23

HadoopMongoDB数据库
Hadoop已死？Hadoop万岁！
各种博客文章、杂志投稿中，“Hadoop已死”的说法死灰复燃，且又开始甚嚣尘上。近年来，Cloudera不再满足于Hadoop开源平台的身份，转而以企业数据公司的身份进行营销。

2019-10-11 08:58:21

Hadoop开源云
Hadoop之完全分布式集群
首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射

2019-09-26 15:43:52

Hadoop集群防火墙
面试系列：深入理解Hadoop架构体系
Hadoop架构体系面试题：HDFS的进程构成及其作用;nameNode进程：负责对外展示文件的层级结构、管理客户端对文件的访问(如：打开、关闭、重命名等)、决定文件block与dataNode的对应关系等。

2019-09-24 13:41:22

Hadoop面试分布式
Hadoop 之 NameNode 元数据原理
在对NameNode节点进行格式化时，调用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存储当前的元数据。Namenode主要维护两个文件，一个是fsimage，一个是editlog。

2019-09-23 13:03:42

NameNode元数据文件
Hadoop发生了什么？我们该如何做？
许多组织都关注Hadoop生态系统的进一步发展，并承受着展示数据湖价值的压力。对于企业来说，至关重要的是确定如何在Hadoop失败后成功地实现应用程序的现代化，以及实现这一目标的更好策略。

2019-09-16 17:16:29

Hadoop数据湖数据结构
大数据需求使用的六个Hadoop发行版
Hadoop可以在不同的发行版中使用，因为公司通常将其作为打包交易提供。它使用Hadoop分布式文件系统(HDFS)，它允许使用不同的平台和执行并行数据处理的能力。在这里，我们将讨论六种可用于满足大数据需求的Hadoop发行版。

2019-08-26 09:39:53

Hadoop发行版大数据
大数据需求使用的六个Hadoop发行版
Apache Hadoop是一个出色的软件框架，允许处理大数据元素。它可以通过采用模块化系统和处理大量数据来使用商用硬件的强大功能。Hadoop可以在不同的发行版中使用，因为公司通常将其作为打包交易提供。

2019-08-26 09:20:43

Hadoop大数据数据库
Hadoop是什么，能干什么，怎么使用
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。

2019-08-09 16:01:18

Hadoop数据库
学Hadoop你必须要知道的
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。

2019-08-06 14:54:22

Hadoop数据集海量数据
简述Hadoop之后大数据的未来在谁的身上
本篇文章小编就给读者们探讨一下Hadoop之后大数据的未来在谁的身上，对大数据开发感兴趣的小伙伴们就随小编来了解一下吧。

2019-08-06 14:18:33

Hadoop大数据数据分析
Hadoop YARN：调度性能优化实践
YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。

2019-08-02 11:28:45

HadoopYARN调度系统
Hadoop与 Spark - 选择正确的大数据框架
我们被各方的数据所包围。随着数据每两年增加一倍，数字世界正在快速追逐物理世界。据估计，到2020年，数字宇宙将达到44个zettabytes - 与宇宙中的恒星一样多的数字位。

2019-07-22 10:45:31

HadoopSpark大数据
Hadoop现在怎么样了？
之前我们提到大数据的时候就会提到Hadoop，Hadoop是大数据的基础框架，是大数据技术的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。

2019-07-19 15:42:57

Hadoop大数据YuniKorn
Spark和Hadoop的架构区别解读
总的来说，Spark采用更先进的架构，使得灵活性、易用性、性能等方面都比Hadoop更有优势，有取代Hadoop的趋势，但其稳定性有待进一步提高。我总结，具体表现在如下几个方面。

2019-07-17 13:25:03

SparkHadoop架构
大数据资料之常见的Hadoop十大应用误解学习
大数据之常见的Hadoop十大应用误解常见的Hadoop十大应用误解。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。以下是常见的Hadoop十大应用误解和正解。

2019-07-10 09:21:36

大数据数据库Hadoop
大数据的一个时代的结束了，Hadoop还值得你学习吗？
Hadoop从诞生至今已经十三年了。2006年诞生大数据，2008年成为Apache的顶尖项目，成为国内外互联网大数据的标准配置之一。长久以来，想要入行大数据开发Hadoop也是必学。最近确对Hadoop哀声一片，更多喊得是拥抱云计算，摒弃Hadoop。

2019-06-26 11:05:35

大数据Hadoop云
Hadoop 气数已尽？
从本质上讲，市场上只剩下一个主要的 Hadoop 服务商 Cloudera。如果我告诉你 Cloudera 很久以前就不是主要搞 Hadoop 的呢?

2019-06-25 11:03:20

HadoopGoogleSpark
Hadoop之父：普通程序员到顶级公司CTO的进阶之路
做大数据开发的朋友一定用过 Hadoop 这个工具，它是一款支持数据密集型的分布式应用程序。那么接下来就跟鸡仔一起来了解被誉为 Hadoop 之父的 Doug Cutting，他到底是何许人也？又有哪些值得我们学习的地方呢？

2019-06-21 14:25:07

HadoopCTO数据库
万亿数据下 Hadoop 的核心竞争力
在大数据时代，Hadoop 有着得天独厚的优势。然而，每个企业的技术储备和需求特点不同，他们希望从海量的客户数据中挖掘真正的商业价值，像 Google 、Facebook 、Twitter 等这样的企业更是 Hadoop 的最早获益者。那么，今天我们就来聊一聊，万亿数据下 Hadoop 的核心竞争力。

2019-06-18 14:12:07

Hadoop大数据数据库
SQL on Hadoop在快手大数据平台的实践与优化
快手大数据架构工程师钟靓近日在A2M人工智能与机器学习创新峰会分享了题为《SQL on Hadoop在快手大数据平台的实践与优化》的演讲，主要从SQL on Hadoop介绍、快手SQL on Hadoop平台概述、SQL on Hadoop在快手的使用经验和改进分析、快手SQL on Hadoop的未来计划四方面介绍了SQL on Hadoop架构。

2019-05-31 12:03:06

SQLHadoop大数据
HDFS监控背后那些事儿，构建Hadoop监控共同体
HDFS是Hadoop生态的一部分，监控方案不仅需适用HDFS，其他组件如Yarn、Hbase、Hive等，也需适用。

2019-05-15 10:18:29

HDFSHadoop监控
如何将Hadoop集成到工作流程中？这6个优秀实践必看
Hadoop是一个软件库，它允许在分布式系统中存储大数据集，并借助简化的编程模块在集群中处理这些数据集。

2019-05-13 08:20:33

Hadoop集群数据库
基于Hadoop生态系统的一高性能数据存储格式CarbonData（性能篇）
CarbonData在数据查询的性能表现比Parquet好很多，在写一次读多次的场景下非常适合使用;社区比较活跃，响应也很及时。目前官网发布版本1.3.0与最新的spark稳定版Spark2.2.1集成，增加了支持标准的Hive分区，支持流数据准实时入库等新特性，相信会有越来越多的项目会使用到。加米谷大数据转给大家参考学习。

2019-05-08 14:18:40

Hadoop存储CarbonData
百 PB 级 Hadoop 集群存储空间治理
现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。

2019-04-26 15:38:34

Hadoop集群存储
大数据：学Hadoop好还是Spark好？
相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种 平台的比较与选择吧，看看对于工作和发展，到底哪个更好。

2019-04-24 13:07:16

HadoopSpark分布式架构
数据分析师、大数据开发、Hadoop开发工程师等各路人才薪资怎么样？
根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

2019-04-24 12:45:00

大数据就业平均工资
Hadoop大数据分析平台的介绍性讨论
Hadoop是迄今为止MapReduce最主流的执行，是一个完全开源的平台，用于处理大数据。它具有足够的适应性，能够同时处理各种数据源，或者汇集不同的信息源(记住进行大规模处理的最终目标)或者从数据库中读取数据以便运行处理器 - 学习机器学习的工作。

2019-04-23 15:35:53

Hadoop大数据数据处理
大数据开发：剖析Hadoop和Spark的Shuffle过程差异
本文旨在剖析Hadoop和Spark的Shuffle过程，并对比两者Shuffle的差异。Shuffle描述的是数据从Map端到Reduce端的过程，大致分为排序(sort)、溢写(spill)、合并(merge)、拉取拷贝(Copy)、合并排序(merge sort)这几个过程。

2019-04-22 15:24:24

HadoopSuffleMap端
大规模集群下的Hadoop NameNode
本文我们来看看，如果大量客户端对NameNode发起高并发(比如每秒上千次)访问来修改元数据，此时NameNode该如何抗住?

2019-04-18 11:37:49

NameNodeHDFS架构
大数据生态系统入门必看：Pig、Hive、Hadoop、Storm等白话诠释
大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。

2019-04-18 10:30:50

大数据Hadoop数据分析
上一页 1 23456 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服