鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9088内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9088 条

技术小白：Hadoop 到底是啥？

大数据是个铺天盖地的词，而谈论大数据又不可避免地要提到Hadoop，遗憾的是今天大多数大数据鼓吹者，甚至专业人士其实并不能说清楚Hadoop到底是什么玩意，以及有何功用，而他们的管理层小白听众更是一头雾水。

2013-05-29 10:17:56

Hadoop 分布式文件系统

Hadoop 2.0 Yarn代码:心跳驱动服务分析

当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用Hadoop RPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前 RM与NM在心跳的驱动下操作。

2013-05-29 09:22:03

Hadoop 2.0发布大数据新突破在即

不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。

2013-05-28 09:49:04

Hadoop 2.0 大数据数据存储

Hadoop 2.0 NameNode HA和Federation实践

天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability(以下简称HA)和Federation。Cloudera也于7月制作了CDH4.0.1，包含了Hadoop 2.0的诸多新功能和组件，于是我们就基于CDH4.0.1进行了HA和Federation的测试。此工作由我和同事张军、钱兴会共同完成。

2013-05-28 09:12:59

Hadoop 2.0：大数据的新突破在即

以往 Hadoop 似乎就是大数据的代名词。不过最近随着大数据应用的深入，大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。接下来的Hadoop 2.0就为了解决之前所出现的问题。

2013-05-27 15:12:49

Hadoop 2.0.3在Linux环境下单机部署

与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。

2013-05-27 14:37:31

Hadoop 2.0的两种RPC

Hadoop 2.0中存在两个ipc包, 分别为hadoop RPC和新的YarnRPC, 本文简要描述了两种RPC。

2013-05-27 14:31:34

红帽LINUX 5下安装Hadoop 2.0.0-alpha

本文将为大家介绍在红帽Linux 5下安装Hadoop 2.0.0-alpha的全部工作，包括之前安装环境和配置工作。

2013-05-27 14:21:58

Hadoop版本及cloudera的CDH3 CDH4

Hadoop有两个分支：0.20.x 和0.23.x。其中0.20.x是比较稳定的版本，0.23.x中新特性更多，但相对不稳定。

2013-05-27 14:19:39

Hadoop 2.0.2和Hive 0.10.0单机伪集群配置

今天我们要讲的是Hadoop 2.0.2和Hive 0.10.0单机伪集群配置。

2013-05-27 14:13:51

Hadoop 2.0基本术语解释

在阅读Hadoop 2.0的相关资料时，很多人将一些概念混淆了，本文将对Hadoop 2.0涉及到的术语进行比较全面的介绍。

2013-05-27 14:05:16

Hadoop 2.0将发布大数据的新突破在即

不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。

2013-05-27 10:21:51

Hadoop 2.0 大数据

从问题域出发认识Hadoop生态系统

Hadoop作为一个生态系统，每个系统只解决某一个特定的问题域（甚至可能很窄），这也是Hadoop的魅力所在：不搞统一型的一个全能系统，而是小而精的多个小系统。本文重点讨论分布式领域的几个系统问题域。

2013-05-27 10:01:33

Hadoop Hadoop系统

R语言基础（一）

我们要谈到的是R语言对象的产生、排列、删除，以及内存的查看等等。

2013-05-24 10:01:40

大数据分析--R语言开始之旅

在R的官方教程里是这么给R下注解的:一个数据分析和图形显示的程序设计环境(A system for data analysis and visualization which is built based on S language.)。

2013-05-22 08:55:14

英特尔让大数据“接地气”：Hadoop从架构做起

当大数据成为常挂在口边的一个词，那么，接地气就显得尤为重要。英特尔将大数据解决方案英特尔Hadoop发行版软件最先发布在中国，并在通信等行业得以实施，更要紧的是，英特尔为ISV、应用软件供应商在大数据上的实施带来了便捷。

2013-05-21 10:24:11

英特尔大数据 Hadoop

Hadoop 文件系统多次关闭的问题

当读写文件的时候，Hadoop抛异常说文件系统已经关闭。后来发现，是一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果，它并不是每次都创建一个新的实例。这就意味着，如果每个线程都自己去get一个文件系统，然后使用，然后关闭，就会有问题。

2013-05-21 10:10:29

Hadoop 文件系统

专为Mac本跟踪Hadoop任务的应用

JobTracker.app是一个针对Hadoop JobTracker的Mac菜单栏应用。它提供了对Mapreduce 任务启动、完成、失败的通知，可以通过它轻松访问这些任务的详细页面。

2013-05-20 16:42:17

Hadoop目前只是“穷人的ETL”

根据IDC发布的Hadoop-MapReduce软件生态系统预测报告，Hadoop市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实，作为大数据分析应用的代名词，Hadoop的流行其实与数据分析无关。实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析，而是把Hadoop作为一种廉价的海量存储和ETL(抽取、转换、加载)系统。

2013-05-20 09:36:32

Hadoop 大数据分析工具大数据

R语言进阶之3：数据汇总/透视/提炼

汇总、透视、提炼、凝炼，对数据处理来说这些词的意思都差不多，R语言提供了很多函数处理这些事情，还有一些软件包也提供了非常方便的数据汇总功能，方法不胜枚举。summary是获取数据概要最常用的函数，应该很熟悉了。这里只简单介绍rowSums, colSums, rowMeans, colMeans, table、apply、lapply、sapply、vapply、tapply、mapply、by 和 aggregate等函数的用法。

2013-05-16 09:37:14

R语言进阶之2：文本（字符串）处理与正则表达式

处理文本是每一种计算机语言都应该具备的功能，但不是每一种语言都侧重于处理文本。R语言是统计的语言，处理文本不是它的强项，perl语言这方面的功能比R不知要强多少倍。幸运的是R语言的可扩展能力很强，DNA/RNA/AA等生物序列现在已经可以使用R来处理。

2013-05-15 13:32:16

用R语言对JPG/JPEG图片进行背景透明处理

我们在准备会议或工作报告时经常要把单位或组织的徽标插入到幻灯片中，但从照片或网上截屏获得的徽标图片的背景色通常和我们幻灯片的背景不搭配，能把徽标本身的背景色透明掉就好了。如果你会用R，过程就非常简单，只要几行代码。

2013-05-15 10:27:05

Hadoop傻瓜化：Datameer大数据收入翻三番

Datameer这样的硅谷大数据创业公司摸准了企业的需求，并且已经淘到了真金白银，这将进一步刺激大数据淘金热，同时也为其他大数据创业公司指明了方向。

2013-05-15 09:45:50

Hadoop Datameer 大数据

Twitter收购大数据分析公司Luchy Sort

Twitter周一宣布已收购大数据分析公司Luchy Sort。后者的服务将在未来数月里陆续关闭。

2013-05-14 10:01:57

R语言学习笔记(3)：绘图

经过前面两篇的学习内容，我们已经大体知道了R是什么以及R中主要的数据类型和数据结构。尽管了解得很粗浅，但我还是迫不及待的进入了“绘图”这一主题。

2013-05-14 09:42:36

走出沙盒 Hadoop数据管理重要性提升

在Web应用方面Hadoop已经证明了自己，但是迄今为止大多数的工作也仅仅归为POC的范畴。健壮的管理能力缺失是造成这一现象的主要原因，然而事情正在发生改变：在企业中，Hadoop有待于更进一步的融入运营工作流，以期带来更好的安全性和查询功能。

2013-05-13 10:32:01

Hadoop 数据管理提升

Cloudera释放Impala 1.0：与Hadoop完全整合，各方面完爆Hive

5月1日，Cloudera释放了Impala 1.0版本(下载传送门);对比旧版本，新的版本基于社区回馈和现实世界中不同的负载做出了修改，其根本的设计理念是与Hadoop无缝的整合——共同使用一个存储池、元数据模型、安全框架以及系统资源集。

2013-05-13 09:36:28

Cloudera Impala 1.0 Hadoop

R语言学习笔记(2)：数据类型和数据结构

尽管前面提到R是面向对象的，但是个人认为R中的所谓对象其实只是一种结构（struct）。还是要使用函数对其进行操作。

2013-05-10 15:27:07

R语言学习笔记(1)：R是什么

在学习量化投资的时候，我发现了R（www.r-project.org）。R到底是什么呢？在开始之前，先看看R的神奇之处。

2013-05-10 14:37:37

宁波银行选择Teradata建设数据仓库和数据治理机制

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，宁波银行将采用Teradata天睿公司企业数据仓库以及专业的数据治理咨询服务，强化全行级统一数据整合平台，满足快速增长的业务需求以及法规监管要求。

2013-05-09 16:22:03

Teradata 数据仓库数据治理

Teradata业内独创技术支持直接访问Hadoop数据

全球大数据分析和数据仓库解决方案厂商Teradata天睿公司宣布，成为业内独家向业务分析师提供优化、自助、低成本访问Apache Hadoop解决方案的厂商。通过Teradata企业级Hadoop访问工具(Teradata Enterprise Access for Hadoop)，帮助他们实现更快、更加明智的战略业务决策。

2013-05-09 16:18:20

Teradata Hadoop 天睿

Teradata天睿公司为“西南第一行”建设数据仓库

全球大数据分析和数据仓库解决方案厂商Teradata天睿公司宣布，中国西南地区最大的地方银行四川省农村信用社(以下简称：“四川农信社”)将采用Teradata天睿公司数据仓库建设全行级统一数据仓库系统。这是Teradata天睿公司在中国西南地区最大的金融项目，也将成为托举我国西南地区金融信息化水平的里程碑项目。

2013-05-09 16:09:19

Teradata 数据仓库天睿

如何让你的作业在Hadoop集群中真正实现分布式运行？

搭建过hadoop之后，如何让程序在hadoop集群中分布式运行成了一件令人头痛的事。如何让你的作业在Hadoop集群中真正实现分布式运行？本文有解决方案，敬请关注！

2013-05-09 15:39:30

Hadoop集群分布式

企业大数据战略中的生命周期管理研究

世界潮流浩浩荡荡，大数据时代已然来临。您的公司将如何应对大数据时代的挑战呢？战略决定未来的发展方向。没有清晰的大数据战略，不了解大数据的生命周期，您的公司将如同盲人摸象般不仅无法驾驭大数据，而且会被大数据淹没。本文探讨的就是企业的大数据生命周期设计。

2013-05-07 10:50:27

大数据战略

大数据“流言”：剖析Hadoop和大数据的七误解

如今，Hadoop成为解决大数据需求的主要投资领域之一，而类似Facebook等互联网巨头在都公开的吹捧Hadoop上取得的成功，同样初入大数据领域的公司也必先着眼于Hadoop。但对于Hadoop技术而言，是一个多维的解决方案，可以通过不同的方式进行部署和使用。下面就了解一些关于Hadoop和大数据的七大错误理念。

2013-05-06 10:22:28

大数据 Hadoop

小白学数据分析:3D移动网络游戏需要关注的问题

前几天在顽石讲了一些3D手游的问题，抽点时间写点东西，简单来说说3D游戏的研发和运营过程中，我们可能面临的问题。

2013-05-03 09:23:36

挑战大数据浅析NoSQL技术原创

目前我们都生活在一个庞大的数据存数时代，然而大数据及其底层技术NoSQL也正成为了互联网的一个流行语。对于谷歌以及Facebook，IBM这样的全球互联网企业，NoSQL这种高扩展的非关系型数据库存数的使用往往已经超过关系型数据库。事实上，在海量数据和半结构化数据的一些问题过程中，已经诞生了一系列新型数据库产品，而这些数据库我们称之为NoSQL。

2013-05-03 00:41:57

大数据 NoSQL

Hadoop大数据分析：Azure HDInsight服务预览

微软全球副总裁Scott Guthrie三月份宣布了该公司HDInsight服务预览版的主要升级，即Hortonworks Hadoop Data Platform v1.1.0。此次更新的预览版中的DevOps特性，让开发者可以更轻松的用Windows Azure服务订阅创建高性能HDInsight计算集群，通过Windows Azure Management Portal实现（图一）。

2013-04-28 10:01:28

HDInsight Windows Azu Hadoop

向磊：Hadoop落地为何如此之难原创

Hadoop落地之所以难，是因为有一下几点问题：1. Hadoop集群部署管理难，麻烦；2. 想办法在工作上偷懒才是王道；3. 解决的问题和为人民服务。

2013-04-27 10:31:56

大数据全球技术峰会 Hadoop

罗李：基于Hadoop数据服务平台

Hadoop最重要的两项服务是HDFS和MapReduce，阿里通过分组对资源做了切分，HDFS通过文件数和空间的配额做限制，mapreduce是做slot的限制。数据可以在阿里的平台上方便的共享，计算资源通过分时共享，白天进行开发和测试任务，晚上进行生产任务。

2013-04-27 10:07:04

大数据全球技术峰会阿里淘宝

【51CTO快讯】维基百科从MySQL迁移到MariaDB

甲骨文与开源社区关系的恶化正促使许多发行版用MariaDB取代MySQL，现在使用MySQL的流行网站维基百科也宣布从MySQL迁移到MariaDB，部分原因是甲骨文的MySQL有免费版和企业版，而企业版的新功能没有公开源码，而MariaDB则没有这方面的问题。

2013-04-25 10:43:33

维基百科 MySQL MariaDB

7个大数据流言——避免错误的Hadoop和云分析决策

数据体积和数据使用在以惊人的速度增长着，这一点从分析师的分析中不难获得——IDC今年在数据存储上的增长速度将达到53.4%，AT&T声称无线数据的流量在过去的5年内增长200倍，如果你着眼自己通信渠道的话，将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。

2013-04-25 10:24:19

大数据 Hadoop 云分析

Hadoop集群10：MapReduce初级案例

本文为Hadoop集群系列第九。 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。

2013-04-24 10:47:48

小议Hadoop HDFS Balancer

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，我们该如何应对？

2013-04-23 11:17:47

查看HBase表在HDFS中的文件结构

为了查看HBASE表在HDFS中的文件结构

2013-04-23 10:58:28

48小时：大数据时代我们应该怎么应对雅安地震？

下午，看到我的新浪微博中几乎都是关于雅安地震的消息，其中不少还是我认识的人在转发各种信息，让我无法不动容。而微信里真的是冷冷清清啊。这个时候觉得新浪微博不商业化又怎么了，起码它在让很多人关注雅安地震后每一分每一秒发生的事情。

2013-04-22 14:03:20

大数据雅安雅安地震

Apache Hadoop 为什么如此风靡？

Apache Hadoop是MapReduce计算模型的一个开源实施。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。

2013-04-19 13:59:00

51CTO独家报道ChinaHadoop技术沙龙

阳春四月，京师草长，杂花生树，群莺乱飞。ChinaHadoop开源社区联络在一线互联网公司具有多年Hadoop大数据平台使用经验的技术专家，将为大家献上一场精彩的技术分享活动。

2013-04-19 10:43:47

为什么Apache Hadoop让人如此着迷？

Apache Hadoop是MapReduce计算模型的一个开源实施。MapReduce是由谷歌公司推广开的，用于构建公司的互联网索引。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。

2013-04-19 10:06:51

Apache Hadoop MapReduce计算

Project Savanna：让Hadoop运行在OpenStack之上

用户需要给Savanna提供一些信息来建立集群，比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后，Savanna将帮助用户在几分钟之内建立起集群，同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

2013-04-19 09:51:21

Hadoop OpenStack Savanna

上一页 1 ··· 169 170 171 172 173 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营