51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

Hadoop

837内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 837 条
分享一些容易被忽视的Hadoop面试题及答案
大数据已经无处不在，随之而来的就是大数据技术人才的急需，以下是关于大数据技术的面试问题，大家可以再面试前参考。

2019-03-28 13:50:47

大数据面试Hadoop
从HDFS和MapReduce两方面了解Hadoop
本文主要从 HDFS 和 MapReduce 两个大的方面讲解了 Hadoop 的相关知识，并且编写了一个简单的 MapReduce 程序，最后还深入了解了一下 MapReduce 程序的运行原理以及 Shuffle 相关的内容。

2019-03-21 11:03:47

HDFSMapReduceHadoop
Hadoop大数据通用处理平台
Hadoop是一款开源的大数据通用处理平台，其提供了分布式存储和分布式离线计算，适合大规模数据、流式数据(写一次,读多次)，不适合低延时的访问、大量的小文件以及频繁修改的文件。

2019-03-14 15:11:18

Hadoop大数据分布式
大数据的技术生态？Hadoop、Hive、Spark之间是什么关系？
大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。

2019-03-12 11:12:50

大数据HadoopSpark
深入浅出Hadoop YARN
在详细介绍 Yarn 之前，我们先简单聊聊 Yarn ，Yarn 的全称是 Yet Another Resource Negotiator，意思是“另一种资源调度器”，这种命名和“有间客栈”这种可谓是异曲同工之妙。

2019-01-07 15:29:07

HadoopYarn架构调度器
深入理解Hadoop之HDFS架构
Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异是值得我们注意的。

2018-12-27 12:34:42

HadoopHDFS分布式系统
Hadoop运行在Kubernetes平台实践
Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。

2018-12-16 16:21:08

HadoopKubernetes容器
Hadoop架构已凋谢吗 ？
坦率地说，Hadoop走下坡路似乎找不到一个最根本的理由。相反，Hadoop架构人气下滑可能归咎于几个不同的因素。一些IT专业人员对于自己无法在Hadoop集群上执行任何有意义的数据分析颇为沮丧。

2018-11-19 15:14:46

Hadoop架构公共云
用大白话告诉你小白都能看懂的Hadoop架构原理
Hadoop 是目前大数据领域最主流的一套技术体系，包含了多种技术，例如 HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统）等等。

2018-11-19 08:34:22

Hadoop架构HDFS
三大方法保护Hadoop集群免遭攻击！
自今年以来，不少恶意软件开始频繁向Hadoop集群服务器下手，受影响最大的莫过于连接到互联网且没有启用安全防护的Hadoop集群。

2018-11-12 13:45:05

Hadoop攻击互联网
恶意软件日均进攻百万次！三大方法保护Hadoop集群免遭攻击！
大约在两年前，开源数据库解决方案MongoDB以及Hadoop曾遭受过大量恶意攻击，这些攻击后被统称为“勒索软件”，因为其攻击者会擦除或加密数据，然后向被攻击者索要资金以恢复数据。自今年以来，不少恶意软件开始频繁向Hadoop集群服务器下手，受影响最大的莫过于连接到互联网且没有启用安全防护的Hadoop集群。

2018-11-12 10:32:25

恶意软件Hadoop集群
新型僵尸网络目标锁定Hadoop服务器，利用“肉鸡”发动DDoS攻击
一个最新被发现的僵尸网络正在将Hadoop集群作为其感染目标，试图利用它们的计算能力发动分布式拒绝服务(DDoS)攻击。

2018-10-31 10:53:51

Hadoop服务器DDoS攻击
如何将kafka中的数据快速导入Hadoop？
Kafka是一个分布式发布—订阅系统，由于其强大的分布式和性能特性，迅速成为数据管道的关键部分。它可完成许多工作，例如消息传递、指标收集、流处理和日志聚合。Kafka的另一个有效用途是将数据导入Hadoop。

2018-10-22 14:48:39

KafkaHadoop代码
Hadoop，Zookeeper这些名字都是怎么来的呢？
Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是 Hadoop 就诞生了。

2018-10-17 18:53:20

HadoopSparkZookeeper
如何将传统关系数据库的数据导入Hadoop？
大多数企业的关键数据存在于OLTP数据库中，存储在这些数据库中的数据包含有关用户，产品和其他有用信息。如果要分析此数据，传统方法是定期将该数据复制到OLAP数据仓库中。

2018-10-15 13:57:38

Hadoop数据库MySQL
Cloudera和Hortonworks宣布合并：对Hadoop的一记重创！
近日，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。

2018-10-12 14:01:14

Hadoop大数据公有云
技术分享：Hadoop框架
Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。

2018-10-09 15:00:43

Hadoop分布式架构
如何将数据移入和移出Hadoop？
本文是《Hadoop从入门到精通》大型专题的第5章，将完全解答上述问题，让企业走上无忧数据移动之路。本章，我们将首先介绍如何将不同位置和不同格式的数据移动到Hadoop，之后将讲解如何将数据移出Hadoop。

2018-10-09 14:16:21

Hadoop数据移入数据传输
大数据的特点是什么，大数据与Hadoop有什么关系？
在大数据时代，Hadoop以其优越的性能受到业界的广泛关注，已经成为大数据处理领域事实上的标准。如今，Hadoop在诸多领域大显身手。随着开源社区和国际众多国际技术厂商对这一开源技术的积极支持与持续的大量投入，相信不久的将来，Hadoop技术会被拓展到更多的应用领域。

2018-09-30 15:55:56

大数据Hadoop分布式
Hadoop中Hive原理及安装
Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供命令行工具和JDBC驱动程序，用于将用户连接到Hive。

2018-09-18 15:21:47

Hive数据仓库程序
Hadoop生态系统各组件与Yarn的兼容性如何？
本文作为《Hadoop从入门到精通》大型专题的第二章第三节，主要介绍了Yarn如何与Hadoop生态系统中其他组件配合，这也是本专题有关Yarn概念的最后一节，如果你想了解更多关于Yarn的具体信息，可以访问本专题的其他文章，详见文末。

2018-09-13 13:05:41

HadoopYarn数据处理
Hadoop发行版本之间的区别
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。本文就各发行版做简单对比介绍。

2018-09-11 13:15:40

Hadoop大数据发行版
Hadoop体系结构中的服务角色介绍
翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧!

2018-09-11 12:41:42

HadoopJava工具
使用Ambari接管线上Hadoop游戏数据集群的避坑秘籍 原创
本文首先将简要介绍我们生产环境中 Hadoop 集群现状、Ambari 的关键技术，然后将重点阐述我们 Ambari 管理监控线上 Hadoop 集群的技术方案，介绍线上接管过程中碰见的问题和解决方式。

2018-08-27 08:19:07

Hadoop集群Ambari
扫盲：Hadoop分布式文件系统（HDFS）基础概念讲解！
本文为您带来通过shell命令管理Hadoop HDFS的十大基本操作，这些操作对于管理HDFS集群上的文件非常有用。出于测试目的，你可以使用Cloudera或者Hortonworks等中的某些VM调用此命令，或者用于伪分布式集群设置。

2018-08-14 10:44:58

HadoopHDFS命令
耗时两个月，国内传统企业对Hadoop到底什么态度？
前有Gartner报告对Hadoop发行版的看衰论断，后有加拿大皇家银行和美国富国银行对Hadoop应用的不看好，到底国内传统企业对Hadoop持什么态度?是否与国内的互联网企业一致呢?Hadoop生态中哪些组件获一致好评?哪些组件被群嘲?

2018-08-09 09:00:34

Hadoop制造行业国内企业
Oracle与Hadoop对比：一致性和高性能不可兼得！
提起Hadoop，我们就可以想到大数据;提起Oracle，我们就可以想到数据库。国内确实有不少企业习惯于将Hadoop作为数据库使用，因此将其与数据库领域同样占据重要位置的Oracle进行对比是有意义的。

2018-08-06 09:30:14

OracleHadoop数据库
Hadoop生态组件Yarn之长期运行服务支持篇！
众所周知，Yarn是大数据核心调度组件，其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中，不少专家都对Yarn这一核心组件的生命力表达了自己的看法。

2018-07-31 14:24:02

HadoopYarn服务框架
干货：如何将Hadoop存储容量提升4倍？
本文主要介绍如何通过Federation使用多个独立的Namenodes/Namespaces水平扩展命名空间。Namenodes彼此独立，互不通信，可以共享相同的Datanode存储。

2018-07-30 15:05:26

Hadoop大数据集群
京东万台规模Hadoop集群 | 分布式资源管理与作业调度
为了增加生产效率和节约成本，必须要将之前分散在各处的集群资源统一管理起来，组成一个超大集群对外提供服务，并且要让各种并行框架可以利用它的存储和计算资源进行业务处理。

2018-07-17 15:05:34

京东Hadoop集群分布式资源管理
Hadoop老矣，为什么腾讯还要花精力在其开源发布上？
前些日子，腾讯主导开源大数据平台 Apache Hadoop 2.8.4 新版本发布的新闻引起了笔者的注意。自 Hadoop 从雅虎诞生之日起，已经走过了 10 来个年头，这期间，尤其是近年来，由华人作为 Release Manager 主导新版本发布已经有过不少先例，不过背后的公司不外乎雅虎、微软、Hortonworks、Cloudera 等美国公司。

2018-07-12 08:41:54

大数据IT互联网
大数据入门之Hadoop基础学习
目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。

2018-07-11 13:33:43

大数据人工智能Hadoop
Hadoop学习系列一：环境搭建
为了学习HBase，跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了，废话不多说了，开搞。

2018-07-10 15:15:11

HadoopHbase系统
Hadoop分布式文件系统-从RAID说起
大数据技术主要要解决的问题的是大规模数据的计算处理问题，那么首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面：

2018-07-06 09:16:22

HadoopRAID文件系统
基于Hadoop生态系统的一种高性能数据存储格式CarbonData（基础篇）
随着数据的与日俱增，业务驱动下的数据分析灵活性要求越来越高，不同场景的数据分不同业务系统而构建，导致存储冗余严重，缺乏高效、统一的融合数据分析。

2018-07-03 08:33:04

Hadoop存储CarbonData
基于Hadoop的数据分析平台搭建
随着越来越多的企业开始使用Hadoop平台，也为Hadoop平台引入了许多的技术，如Hive、Spark SQL、Kafka等，丰富的组件使得用Hadoop构建数据分析平台代替传统数据分析平台成为可能。

2018-06-15 20:44:40

Hadoop数据分析数据
Hadoop HBase存储原理结构学习
hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。

2018-06-13 08:53:39

HadoopHBase存储
2018数据科学和机器学习调查:Hadoop被抛弃!
近日，著名数据科学网站 KDnuggets 发布了 2018 年数据科学和机器学习工具调查结果。超过 2000 人对自己「过去 12 个月内在项目开发中使用过的数据挖掘/机器学习工具和编程语言」进行了投票。该统计还对过去三年来的排名进行了对比分析。

2018-06-12 16:27:45

数据科学机器学习Hadoop
大数据分析系统Hadoop的13个开源工具
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

2018-06-05 12:06:20

Hadoop开源工具
深度:Hadoop对Spark五大维度正面比拼报告！
为了增加混淆，Spark和Hadoop经常与位于HDFS，Hadoop文件系统中的Spark处理数据一起工作。但是，它们都是独立个体，每一个体都有自己的优点和缺点以及特定的商业案例。本文将从以下几个角度对Spark和Hadoop进行对比：体系结构，性能，成本，安全性和机器学习。

2018-06-04 11:28:49

HadoopSpark数据
2018年数据科学和机器学习调查:Python完胜R语言，Hadoop被抛弃！
近日，数据科学网站KDnuggets发布 2018年数据科学和机器学习工具调查结果。

2018-05-31 09:40:55

数据机器学习Python
基于Hadoop的大数据平台实施——整体架构设计
大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。

2018-05-10 13:42:11

Hadoop架构大数据
Spark的误解-不仅Spark是内存计算，Hadoop也是内存计算
市面上有一些初学者的误解，他们拿Spark和Hadoop比较时就会说，Spark是内存计算，内存计算是Spark的特性。请问在计算机领域，MySQL,Redis,SSH框架等等他们不是内存计算吗？依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供CPU进行执行？

2018-05-10 09:51:39

Spark内存Hadoop
Hadoop 3.0版本测试，终将计算与存储解耦！
2018年，关于大数据基础设施的讨论不再围绕使用高质量的数据布局算法减少网络流量的方法展开。相反，现在有更多关于如何可靠地降低分布式存储成本的讨论。

2018-05-08 10:46:31

Hadoop大数据存储
观点:Gartner只是否定Hadoop一体化平台模式
很多Hadoop忠实使用者对这篇报告进行了大量抨击，一个比一个理由丰富，言辞激烈。但是，很多人都错误得或者没有完全理解这篇报告。

2018-04-26 14:49:25

Hadoop数据基础架构
Hadoop 3中的磁盘管理大招解密
DataNode 使用基于轮询的策略写入新块。但是，在长期运行的集群中，由于 HDFS 中大规模文件删除或通过磁盘热交换特性添加新 DataNode 磁盘等事件，DataNode 仍然可能创建了显著不平衡的卷。

2018-04-18 08:24:24

磁盘管理解密
Hadoop将死？Cloudera CEO怒怼Gartner
大数据已经过了炒作阶段，但即使是现在，提到大数据很多人首先会想到hadoop，但最近多份分析报告和趋势预测的文章所传递出的声音，让Hadoop再度成为了争议的焦点。年初的调查，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。

2018-04-08 15:32:47

Hadoop大数据Gartner
Hadoop中理论与工程的错位
Hadoop是当前重要的大数据计算平台，它试图摒弃传统数据库的理念，重新构建一套新的大数据体系。但是，这并不是件很容易的事，在Hadoop的设计和实现中能看到一些先天不足的地方，其中一点就是把理论问题和工程问题给搞拧了。

2018-04-04 13:24:08

HadoopMapReduce大数据
大数据和Hadoop的培训计划能产生多大的影响?
大数据通常被描述为大量的数据。然而，数据量实际上并不重要，而是可以在数据上执行的分析，以便做出更好的决定和其他商业活动。Hadoop是另一种为大数据更好地处理而开发的技术。由于Hadoop开发人员能够以更好的方式执行分析，因此企业对Hadoop开发人员的需求也正在增长。

2018-04-03 14:32:00

大数据Hadoop课程
Hadoop分布式存储与传统SQL存储比较及存储操作描述
Google 为了应对快速增长的数据处理，开发了一套算法。后来有人根据算法的思想，开发出开源的软件框架 ，就是Hadoop， 随着越来越多的组织和个人开发者在框架开发中不断贡献改进，Hadoop 已经形成一套家族产品，成为当下最成功最流行的分布式大数据处理框架。

2018-04-03 09:07:07

Hadoop存储SQL存储
上一页 1 23456 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服