51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

Hadoop

837内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 837 条
别再比较Hadoop和Spark了，那不是设计人员的初衷
直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。Hadoop和Spark并不是非此即彼的关系，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。

2016-03-09 14:35:42

HadoopSpark数据处理
Hadoop生态系统在壮大：十大炫酷大数据项目 译文
管理和分析大数据已经变成了重大挑战，为了应对这项任务，开发人员已开发了一系列新的开源技术。本文介绍一些重要项目，并顺便了解几个新兴项目。

2016-03-07 09:57:19

Hadoop大数据开源项目
7种最常见的Hadoop和Spark项目
Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，以下所列的是最常见的七种项目。

2016-02-26 10:20:17

HadoopSpark大数据项目
Hadoop 集群管理上的新“绝招”
做一个应用程序性能管理系统是一回事——而做一个可以动态地优化系统的实时控制器是另外一码事。

2016-02-24 09:38:25

Hadoop集群管理大数据技术
Hadoop之父Doug Cutting眼中大数据技术的未来
2016,Hadoop走过第十个年头。Hadoop之父Doug Cutting1985年毕业于美国斯坦福大学，早期的他并不是一开始就决心投身IT行业的。他如何成为Hadoop之父？Hadoop的发展和未来期待又是如何的？

2016-02-16 14:30:00

HadoopDoug Cuttin大数据
Hadoop/Spark生态圈里的新气象
Hadoop绝对没有消亡，不过我确信，知名研究机构Gartner的下一篇文章会这么认为。但Hadoop绝不再是原来的Hadoop。现在你需要知道这个新的Hadoop/Spark生态圈里面有什么。

2016-02-16 13:56:00

HadoopSpark生态圈
Cloudera：2016年Hadoop的三大预测
众所周知，2015年又是Apache Hadoop标志性的一年。就在我们认为2015年就这样过去了，真正的Hadoop时代却来临了，我们有很多事情需要继续做下去。我们看到Apache Spark已经成为主流 ，Kudu(孵化中)的全新储存能力也加入进来，安全也更加卓越。难以想像后面还会有什么，但这正是Hadoop的美妙之处：永不止步、无限可能。至于结果，我们总是惊奇地拭目以待。

2016-02-01 15:32:03

HadoopCloudera
2分钟读懂Hadoop和Spark的异同
谈到大数据框架，现在最火的就是Hadoop和Spark，倒底现在业界都在使用哪种技术？二者间究竟有哪些异同？它们各自解决了哪些问题？让我们通过本文来了解。

2016-01-25 10:48:15

大数据框架HadoopSpark
使用Docker在本地搭建hadoop，spark集群
目前网上在docker上部署spark的介绍比较简单和没有相关启动使用的操作,本文重点在于docker相关的操作.

2016-01-07 09:36:20

Docker容器
Apache Eagle：eBay开源分布式实时Hadoop数据安全引擎
Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对历史模型训练建立用户画像以实现智能实时地保护Hadoop生态系统中大数据的安全。

2016-01-06 10:22:18

开源eBayHadoop
UCloud重磅推出UHadoop大数据处理服务
UHadoop基于Hadoop开源框架，底层节点独占高性能SAS磁盘的特性有效提升了数据处理效率，快速扩展、监控和告警等功能则让集群管理更加便捷，从而实现轻松快速并经济地处理大量数据的需求。

2015-12-07 15:05:39

UCloudUHadoop大数据
Think Big在业内率先为Hadoop数据湖推出全面管理服务
全球领先的大数据分析和营销应用服务供应商Teradata天睿公司（Teradata Corporation，纽交所：TDC）宣布其子公司Think Big率先为Hadoop推出一套完善的管理服务，确保Hadoop数据湖的高可用性、使用效率及安全性。Think Big咨询服务将帮助企业克服数据湖管理复杂的困难，充分发挥大数据优势。

2015-10-26 12:30:28

Teradata
YARN：下一代 Hadoop计算平台
Apache Hadoop 是最流行的大数据处理工具之一。它多年来被许多公司成功部署在生产中。尽管 Hadoop 被视为可靠的、可扩展的、富有成本效益的解决方案，但大型开发人员社区仍在不断改进它。

2015-09-28 16:24:34

YARNHadoop计算
大数据技术Hadoop面试题,看看你能答对多少？
大数据技术Hadoop面试题,看看你能答对多少？

2015-09-25 10:44:02

大数据Hadoop
O'Reilly继Velocity之后带入亚洲的Strata+Hadoop大数据会议

2015-09-18 14:07:34

O'Reilly Me
Strata + Hadoop World大会

2015-09-18 13:58:55

O'Reilly Me
Hadoop可能已经达到预期的成熟度
五年前，Hadoop用可以解决所有大数据难题的身份杀入主流市场。如今尘埃已经落定，现在是时候对Hadoop展开更切合实际的评估了。

2015-09-01 14:38:07

hadoop
Hadoop与大数据2015的趋势与挑战
大数据通常会引发商业智能的快速可用性，这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。

2015-09-01 14:06:24

hadoop大数据趋势
Hadoop与大数据2015的趋势与挑战
大数据通常会引发商业智能的快速可用性，这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。

2015-08-31 11:20:08

大数据
Hadoop HBase 单机环境简单配置教程
Hadoop是Apache的一个项目,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(Hadoop Distributed File System),其存储和数据结构很类似Google的GFS。

2015-08-26 10:18:40

hbase
Hadoop Pig学习笔记(一) 各种SQL在PIG中实现
我这里以Mysql 5.1.x为例,Pig的版本是0.8

2015-08-19 14:43:19

pighadoop
15种最佳方式帮你顺利掌握Hadoop技术 译文
在探讨今天的主题——如何利用各类资源学习Hadoop知识——之前，让我们首先搞清楚另一个问题：大数据Hadoop到底是什么？简单来讲，Hadoop是一套用于实现大数据技术的框架方案。为了顺利掌握Hadoop，大家需要理解两项与文件存储以及数据处理紧密相关的基础知识。

2015-08-13 10:01:43

Hadoop最佳方式
荐六十款针对Hadoop和大数据顶级开源工具
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率（CAGR）高速增长；到2020年，市场产值会超过10亿美元。IBM更是非常看好开源大数据工具，派出了3500名研究人员开发Apache Spark，这个工具是Hadoop生态系统的一部分。

2015-08-10 10:37:42

Hadoop大数据顶级开源工具
Hadoop和大数据：60款顶级开源工具 译文
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。本文提到的这些Hadoop和大数据应用程序在帮助众多企业管理和分析大量数据。

2015-08-10 09:23:05

Hadoop大数据开源
hadoop是什么：分布式系统基础架构
hadoop是什么?hadoop能有哪些应用？hadoop和大数据是什么关系？下面我们将围绕这几个问题详细阐述。

2015-08-03 15:48:42

Hadoop大数据
大数据与Hadoop之间是什么关系？
大数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 Hadoop等等。那么，大数据是什么、Hadoop是什么，大数据和Hadoop有什么关系呢？

2015-08-03 10:20:39

大数据Hadoop
星环Hadoop on Docker首次实现一键规模部署

2015-07-30 16:18:14

企业网D1Net
知识分享：详解Hadoop核心架构
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。

2015-07-29 10:36:05

hadoop数据挖掘
基于Hadoop的大规模网络流量分析
分布式数据系统HDFS保证了备份数据的数量均匀分布在集群内部的各个节点上，数据更不易因机器的故障而丢失。本文基于Hadoop设计实现了适用于大规模网络流量的分析系统，使用了四个节点构成的分析集群，用来和一个单点SILK的数据流分析工具进行对比，结果表明该方法在大量数据的情况下相比于传统的流分析工具具有更好的效率、可靠性及可扩展性。

2015-07-28 15:58:26

Hadoop大规模网络流量分析
Hadoop可能已经达到预期的成熟度
五年前，Hadoop用可以解决所有大数据难题的身份杀入主流市场。如今尘埃已经落定，现在是时候对Hadoop展开更切合实际的评估了。

2015-07-28 09:55:47

Hadoop
大数据：Spark和Hadoop是友非敌
Spark 在 6 月份取得了激动人心的成绩。在圣何塞举办的 Hadoop 峰会上，Spark 成了人们经常提及的话题和许多演讲的主题。IBM 还在 6 月 15 号宣布，将对 Spark 相关的技术进行巨额投资。

2015-07-23 14:29:28

大数据sparkhadoop
来自Twitter的Hadoop优化经验：集群越大越明显！
此文介绍了Twitter的核心数据类库团队，在使用Hadoop处理离线任务时，使用的性能分析方法，及由此发现的问题和优化手段，对如何使用 JVM/HotSpot profile(-Xprof)分析Hadoop Job的方法调用开销、Hadoop配置对象的高开销、MapReduce阶段的排序中对象序列化/反序列的高开销问题及优化等给出了实际可操作的方案。32个赞!

2015-07-16 10:11:38

TwitterHadoop集群优化
Spark 和 Hadoop 是朋友不是敌人
6月15日，IBM 宣布计划大规模投资 Spark 相关技术，此项声明会促使越来越多的工程师学习 Spark 技术，并且大量的企业也会采用 Spark 技术。

2015-07-15 10:11:31

SparkHadoop
将Hadoop作为云托管服务的优劣势分析 译文
Hadoop 之所以广受欢迎，就是因为它为使用大众化硬件处理大数据提供了一种几乎没有限制的环境。添加节点是个简单的过程，对这个框架没有任何负面影响。虽然Hadoop统一了分布式计算，但是配备和管理另外的数据中心、更不用说与远程员工打交道，增添了复杂性和成本。结果就是，Hadoop集群可能显得过于孤立。

2015-07-08 09:19:56

HaaSHadoop即服务云端Hadoop
基于Hadoop MapReduce模型的数据分析平台研究设计
并行程序设计方法中最重要的一种结构就是主从结构，而Hadoop则属于该架构。本分主要从以下两个方面来介绍基于Hadoop MapReduce模型的数据分析平台研究设计：分别是Hadoop MapReduce与Hive技术研究、数据分析平台框架设计与环境配置。

2015-07-01 13:51:12

HadoopMapReduce数据分析
破解迷雾：关于大数据与Hadoop的九大误区 译文
这些毫无根据的印象涉及所需技能储备、技术方案类型以及技术匹配方式等多个层面，盲目偏信只会将大家引入歧途。

2015-06-23 10:04:06

大数据Hadoop误区
解析Hadoop 的集群管理与安全机制
当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享集群类似于云计算或者云存储，面临的一个最大问题是安全。本文就对Hadoop 的集群管理与安全机制进行讲解。

2015-06-17 11:27:47

Hadoop集群管理安全机制
Hadoop的一个变长long编码剖析
Hadoop对于long、int （化成long进行编码）的编码设计了自己的一套编码方式，这是一个zero-compressed encoded的变长编码方式，有利于大大压缩冗余数据。

2015-06-15 12:30:10

Hadooplong编码剖析
Hadoop RPC远程过程调用源码解析及实例
RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。

2015-06-09 13:31:29

Hadoop RPC远源码解析
你想知道的关于Hadoop数据资源池的一切
随着Hadoop数据资源池的概念进入主流IT，越来越多的企业开始试水Hadoop。但很多只是将一部分数据池化，还没有开发出成熟的Hadoop环境。

2015-05-29 11:43:57

Hadoop数据资源池
如何基于Docker快速搭建多节点Hadoop集群
Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。

2015-05-27 10:29:41

DockerHadoopHadoop集群
能否利用Hadoop搭建完整的云计算平台?
Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以，核心在“服务”。关于服务，展开来就是常用的那3种(也是事实上的标准)：SaaS,PaaS,IaaS。对云计算来说，公有和私有，虚拟和存储，这其实是相对讨论的核心。

2015-05-20 11:01:02

Hadoop云计算平台
2015也过去一半了，Hadoop大事件盘点
2015也快过去一半了，Hadoop在过去一年的发展究竟如何，下面小象带你盘点一下2014Hadoop大事件！

2015-05-19 14:03:07

Hadoop大事件盘点
Cloudera英特尔携手走过一年 加速企业采用Hadoop平台
通过推进跨越整个生态系统的，侧重产品改进和产业协作的合作，Cloudera和英特尔公司携手实现了安全领域的技术革新，Hadoop核心技术在 Cloudera 四个发行版本中的持续优化，更好的可管理性。此外，双方的合作还帮助减少了企业使用大数据分析技术的障碍，带来了全新的解决方案、一体机和云上的部署。

2015-05-18 18:01:04

ClouderaHadoop平台
Hadoop技术让大数据处理变得简单
你知道世界一天产生多少数据量吗? 你知道从谷歌的搜寻关键字，如何预测流感疫情的蔓延? 你知道为什么登入购物网站，发现陈列的商品都是最想买的东西?电脑知道要回答这些问题，关键就在于大数据 (Big Data)!

2015-05-05 11:18:18

大数据Hadoop技术处理
Hadoop将取代MPP，混合架构即将消失

2015-04-29 17:40:53

企业网D1Net
相比Hadoop,如何看待Spark技术?
之前看Spark的评价，几乎一致表示，Spark是小数据集上处理复杂迭代的交互系统，并不擅长大数据集，也没有稳定性。但是最近的风评已经变 化，尤其是14年10月他们完成了Peta sort的实验，这标志着Spark越来越接近替代Hadoop MapReduce了。

2015-04-28 14:55:01

HadoopSpark技术
后Hadoop时代的大数据架构
提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x 进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop – 董飞的回答，为了给大家有个铺垫，简单讲一些相关开源组件。

2015-04-24 11:20:15

Hadoop大数据架构大数据
让SQL用户装上hadoop大数据的引擎

2015-04-22 13:20:21

企业网D1Net
从HDFS架构和设计看Hadoop和云计算的关系
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

2015-04-16 14:24:56

Hadoop云计算HDFS
上一页 1 ··· 56789 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服