51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

Hadoop

837内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 837 条
一步一步学习大数据：Hadoop生态系统与场景
2008年1月, Hadoop成为Apache的开源项目。Hadoop的出现解决了互联网时代的海量数据存储和处理，其是一种支持分布式计算和存储的框架体系。假如把Hadoop集群抽象成一台机器的话，理论上我们的硬件资源(CPU、Memoery等)是可以无限扩展的。

2017-06-23 21:07:15

大数据HadoopHBase
Hadoop中ssh+IP、ssh+别名免秘钥登录配置
Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH(Secure Shell)来启动和停止各个DataNode上的各种守护进程的。

2017-06-22 08:58:51

Hadoopssh+IPssh+
分布式数据库和Hadoop都不够好，于是我们设计分布式SQL计算系统
为了解决分布式数据库下，复杂的 SQL(如全局性的排序、分组、join、子查询，特别是非均衡字段的这些逻辑操作)难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考, 设计了一套综合两者的系统，利用两者的优点， 补充两者的不足。

2017-06-22 08:25:27

数据库HadoopSQL
Docker和hadoop的碰撞将决定谁才是救世主
综合来说，Docker和hadoop体系在云下物理机的场景非常有限，未来在云上替代VM解决弹性伸缩问题应该有发展。

2017-06-21 21:29:07

Dockerhadoop云
在大数据里：Hadoop可能是你的救命稻草
对于Hadoop来说，前景很乐观——开源框架旨在促进巨大数据集的分布式处理。Hadoop对企业越来越具有吸引力，因为它既可以获取大数据的好处，同时又避免了基础架构费用。

2017-06-19 08:47:49

Hadoop大数据HDFS
比较Apache Hadoop 生态系统中不同的文件格式和存储引擎的性能
这篇文章提出了在Apache Hadoop 生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能：Apache Avro, Apache Parquet, Apache HBase 和 Apache Kudu 空间效率， 提取性能， 分析扫描以及随机数据查找等领域。这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力。

2017-06-15 10:21:30

Apache Hado存储引擎性能
Hadoop 2.x HDFS和YARN的启动方式
以下是Hadoop 2.x HDFS和YARN的启动方式希望能对同学们有所帮助。

2017-06-08 11:00:09

HDFSHadoopYARN
不要让Hadoop成为Had oops！
过去几年里，数据量的生成以每两年翻翻的速度增长，但企业的预算却没有相应增长。这意味着要更有创造性地通过更少的方式做更多的工作。这是一个持续且艰巨的挑战，我没有一劳永逸的解决方案，但我可以提供一些指导原则，让你以更好的姿态去面对挑战。

2017-06-07 11:48:47

Hadoop数据存储
这是一篇最通熟易懂的Hadoop HDFS实践攻略！
以下是HDFS的基础内容，希望可以帮助您快速熟悉HDFS的思路和使用方式。

2017-05-22 10:11:11

Hadoop HDFSJava APIHadoop
零基础搭建Hadoop大数据处理-集群安装
经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2017-05-11 17:36:50

数据分析Hadoop大数据
零基础搭建Hadoop大数据处理-环境
由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。

2017-05-11 11:00:11

大数据Hadoop数据处理
零基础搭建Hadoop大数据处理-初识
Hadoop的学习不仅仅是学习Hadoop，还要学习Linux，网络知识，Java、还有数据结构和算法等等，所以万里长征才开始第一步，希望Hadoop学习不是从了解到放弃。

2017-05-05 09:53:34

Hadoop大数据处理
Hadoop没有消亡，它是大数据的未来
有人认为 Hadoop 正在失败，但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看，本文就是对其观点的编译介绍。

2017-05-01 22:54:01

Hadoop大数据开源
Spark：超越Hadoop MapReduce
和 Hadoop 一样，Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。

2017-04-19 11:17:48

SparkHadoopMapReduce
Hadoop常见错误和处理方式
目前发现很多的地方，TASKTRACKER和HDFS都分了组，但是只修改一组的参数，造成系统大量出问题。java heap size以及tasktracker被拉黑名单的问题。

2017-04-17 10:05:51

Hadoop错误方式
Hadoop环境中管理大数据存储八大技巧
目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。

2017-04-10 08:56:46

Hadoop环境数据存储技巧
Hadoop1.0和Hadoop2.0的区别
今天我们讲讲如何选择不同的Hadoop版本。

2017-03-22 20:21:16

Hadoop框架分布式
如何使用Hadoop提升Hive查询性能
Apache Hive 是一个 Hadoop 之上构建起来的数据仓库，用于数据的分析、汇总以及查询。Hive 提供了一种类 SQL 的接口来查询被存储在各种数据源和文件系统中的数据。

2017-03-13 09:50:00

HadoopHive
DIY Hadoop大数据环境的5大陷阱
虽然Hadoop可以运行在廉价的商品计算机硬件，且用户很容易添加节点，但是它有一些细节是很昂贵的，尤其是你在生产环境中运行Hadoop。

2017-03-09 14:45:13

DIY Hadoop大数据环境
多云未来，Hadoop何去何从？
Hadoop在未来还会保持两到三年的强劲增长，但最终它可能只会留在数据库与大型机身边。数字时代的变化速度太快，没有任何一种技术可以长盛不衰!

2017-03-09 09:24:43

Hadoop技术大数据
Hadoop正在走下坡路
长期以来，Hadoop 这个词铺天盖地，几乎成了大数据的代名词。三年之前，提起超越 Hadoop 这件事，似乎还显得难以想象。但三年后的今天，这一情况发生了一些改变。

2017-03-07 07:59:16

Hadoop下坡路
跌下神坛的Hadoop 过度炒作还是理性选择？
单纯从 Hadoop 的市场占有率来推断其发展态势似乎有些片面了，因为还有许多公司并非不想采用 Hadoop，只是他们发现很难利用现有的技术团队充分挖掘 Hadoop 的应用价值，实际上，他们只是需要更多的专业知识。

2017-03-06 14:24:26

Hadoop炒作选择
Hadoop历史、HDFS特点及对大数据时代的意义
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。

2017-03-06 10:45:29

HadoopHDFS大数据
OpenStack Sahara如何构建Hadoop和Spark系统
OpenStack是一种云操作系统，用于提供虚拟机，而OpenStack Sahara是一个附加组件，使管理员能够在这些虚拟机上部署Spark和Hadoop。

2017-03-06 09:40:39

OpenStack SHadoopSpark
5节点Hadoop分布式集群搭建经验分享
本文章我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。

2017-02-28 09:48:30

Hadoop集群搭建
基于Hadoop的数据仓库Hive基础知识
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。

2017-02-28 09:21:56

HadoopHive数据仓库
Hadoop让大数据在零售业变得更有价值
在过去几年，全球零售商一直试图利用大数据创造价值。由于其大数据分析基础架构的限制，许多工作被一再推迟。Hadoop为这些零售商打开了新的大门，它可以解决他们在过去几年在大数据领域面临的许多问题和挑战。

2017-02-27 16:47:52

零售业大数据
海量数据汹涌而来，Hadoop不再一家独大
2017年大数据将不再是Hadoop一家独大，也不再是编程者们的自娱自乐，企业和终端用户的不断涌入，海量数据“堆积如山”，随之而来的储存、分析、处理成为从业者的下一挑战。

2017-02-23 11:30:11

Hadoop数据DataLake
Kudu，支持快速分析的新型Hadoop存储系统
Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。

2017-02-20 07:57:42

Kudu快速分析Hadoop
Hadoop在云环境中找到理想归宿 译文
Hadoop概念涵盖了全部“商业化打包及支持的开源Hadoop相关项目版本”。换言之，除了传统的HDFS与MapReduce之外，Gartner还在其中融入了YARN、Pig、Hive、HBase、ZooKeeper、Avro、Flume、Kafka、Oozie、Parquet、Solr、Spark及Sqoop等项目

2017-02-17 09:14:14

Hadoop
为什么说Storm比Hadoop 快？
实际流计算和批处理系统没有本质的区别，像storm的trident也有批概念，而mapreduce可以将每次运算的数据集缩小(比如几分钟启动一次)，facebook的puma就是基于hadoop做的流计算系统。

2017-02-14 14:20:02

StormHadoop
大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。

2017-02-14 13:11:23

HadoopStormSamza
打破TPCx-BB测试记录又怎样，会玩Hadoop大数据应用吗?
随着移动互联网的快速发展，数据量急剧膨胀，新经济模式下，如何从积累的海量数据中挖掘出新的价值，支撑企业及社会发展，是当前大数据大热的内在驱动力。大数据应用所需要的IT设施的计算资源、存储资源越来越大。

2017-02-10 17:55:30

华为
Hadoop面试中6个常见的问题及答案
Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。

2017-02-10 10:10:46

Hadoop面试数据仓库
大数据计算架构Hadoop、Spark和Storm 三者技术比较
纵观技术的发展史，我们可以看到，每一项新技术的问世都有着之前技术的身影，伴随着大数据的需求增长，不同的架依然会不断进化，并改进自身的缺点，从而使得自身架构得到进一步的完善。就目前来看Hadoop，Spark和Storm目前远谈不到谁取代谁。

2017-02-10 09:00:03

HadoopSparkStorm
零售业如何用Hadoop开启大数据之门？
“大型零售商永远不可能利用其传统的大数据基础设施进行这种分析。存储如此多的历史数据是十分昂贵的，并且数据类型复杂，并且需要相当多的准备以允许它与PoS事务组合。Hadoop解决了这两个问题，并且可以运行比旧系统更复杂的分析。”

2017-02-09 14:31:54

Hadoop零售业大数据
TensorFlow的开源与Hadoop的开源有什么不同？
出现这种区别最大的原因是来源于Google与Apache本质上不同，Google作为一个商业公司，有的是人来维护代码，基本上不在乎来自公司外的贡献。对于Google来说，开源TF(目测k8s也差不多)最大的目的是制定标准，推进自己的cloud，另外如果有更多的人来测试和修修补补那些外围一点的东西那是再好不过了。

2017-02-07 09:30:49

TensorFlowHadoop开源
TensorFlow的开源与Hadoop的开源有什么不同？
最近看TensorFlow代码的时候，用Git pull下来最新的master一看，哇好多的更新，然后点击去之前看到一半的cc文件继续看，好多地方都改变了。但是一看Git log，有好多巨大的commit叫什么 “Merge commit for internal changes”, “Merge for github”，没有任何的其他描述…，这样基本上不知道到底改动是为了什么。

2017-02-06 17:00:09

TensorFlowHadoop开源
成本与性能兼得 简化Hadoop云部署的高招
对于大数据管理和分析应用程序云服务，用户的关注度正不断增长，而为了应对这一趋势，供应商已经开始努力简化Hadoop的云部署流程，并试图降低云端Hadoop的购买价格。

2017-01-22 10:40:31

Hadoop云部署大数据
成本性能要兼得?简化Hadoop云部署有高招
对于大数据管理和分析应用程序云服务，用户的关注度正不断增长，而为了应对这一趋势，供应商已经开始努力简化Hadoop的云部署流程，并试图降低云端Hadoop的购买价格。

2017-01-19 15:05:38

Hadoop云计算大数据
ZooKeeper原理及其在Hadoop和HBase中的应用
ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

2017-01-17 09:38:52

ZooKeeperHadoopHBase
大数据除了Hadoop，还有Scrapy
互联网+概念的兴起，中国的创业者几乎把互联网+这趟车开进了所有领域，传统领域的商家人心惶惶，言必谈互联网+，仿佛不套点互联网的概念都不好意思宣传自家产品;而赶在这波潮流之前的正是燥热至今的“ 大数据 ”。

2017-01-15 14:18:35

大数据HadoopScrapy
Hadoop创始人寄语2017：五种让开源项目成功的方法
在未来的几年内，开源生态系统将继续扩大，也会不断地在有实际意义的项目里实施。它汇聚了今天最聪明的头脑，在通力合作下，以十年前不可能的速度推进软件开发。

2017-01-15 11:26:31

Hadoop开源项目
Hadoop开发过程中所遇到的那些坑
每次对NameNode格式化之后都会产生一个新的namespaceID，如果多次对NameNode格式化的话可能导致NameNode节点和DataNode节点中存放的版本号不一致。

2016-12-30 11:10:32

Hadoop开发JVM
Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输
本文目标读者是技术人员。 继续读，我会图解Kafka如何从关系数据库管理系统(RDBMS)里流输数据到Hive， 这可以提供一个实时分析使用案例。 为了参考方便，本文使用的组件版本是Hive 1.2.1，Flume 1.6和Kafka 0.9。

2016-12-28 17:45:30

Hadoop大数据Kafka
Hadoop如何迎击大数据分析的挑战
大数据分析是现在十分火热的话题，从农业到工业、从金融到体育、从传统企业到初创公司，各行各业都在积极应用大数据分析，似乎你的企业不和大数据沾点边就会显得没有逼格一样。

2016-12-22 09:52:13

Hadoop大数据分析
Hadoop大数据面试--Hadoop篇
本篇大部分内容参考网上，其中性能部分参考：http://blog.cloudera.com/blog/20 ... reduce-performance/、http://www.idryman.org/blog/2014 ... ing-best-practices/

2016-12-20 18:21:29

Hadoop大数据面试
Hadoop2.6.0自动化部署脚本（一）
最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试，如果在使用中还有bug，欢迎指出。本文主要介绍Hadoop集群自动化部署脚本，安装的Hadoop版本为2.6.0。

2016-12-20 16:47:25

Hadoop部署脚本
为什么说Storm比Hadoop快？
storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多;当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间;因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。

2016-12-14 12:02:01

StormHadoop大数据
Hadoop问题集
今天讲一讲关于Hadoop的问题、原因以及解决方法。

2016-12-13 16:36:15

Hadoopwindows
上一页 1 ··· 34567 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服