鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9088内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9088 条

Hadoop集群系列8：Eclipse开发环境设置

本文为Hadoop集群系列第八篇，今天我们讲讲Hadoop条件下，Eclipse开发环境设置。

2012-07-03 08:37:24

汉庭酒店打造业务分析和商业智能系统

全面预算解决方案的成功实施，让汉庭酒店集团高级管理层能够深入、多角度地看到非常细节的实时数据、全面了解各部门预算流程执行情况及问题。

2012-07-02 10:17:52

汉庭酒店业务分析商业智能系统

Hadoop集群系列7：WordCount运行详解

本文为Hadoop集群系列第七篇，单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello World"。

2012-06-29 10:58:27

小白学数据分析之解析在线平高比

这是一篇很早的杂文了，当时我记得是看到在线平高比比较好奇，索性就研究了一番，后来很多人对我这种行为很不理解，就是一个简单的在线平高比，有什么可以研究和追问的。但是，其中仔细研究下发现还不是那么简单的。接下来我们解决几个问题。

2012-06-29 10:26:47

大数据计算：Hadoop的前世今生

大数据计算我们把它理解成为一个什么事情呢?目前现在这个时代通信、网络等等这些电子信息技术发展，使数据规模得到了极大的增加。

2012-06-29 09:19:39

了解关于Hadoop的12个事实

本文中，分析师给出了关于Hadoop的12点事实，帮助您认识一个真实的Apache Hadoop生态系统。

2012-06-28 15:57:08

Hadoop集群6：JDK和SSH无密码配置

本文为Hadoop集群系列第六篇，包括JDK和SSH无密码配置。如果你的计算机仅仅作为开发使用时推荐使用这种方法，因为所有用户的shell都有权使用这些环境变量，可能会给系统带来安全性问题。

2012-06-28 10:52:06

Hadoop 2.0预计将在一年内面世

Hadoop 1.0于2011年年底发布，具有强大的Kerberos身份验证功能，并支持HBase数据库，但该版本由于MapReduce的限制，让个人用户无法卸载集群。新的Hadoop 2.0即将面世，HortonWorks公司(该公司一直是Apache Hadoop的贡献者)首席技术官Eric Baldeschwieler透露了即将发布的2.0中包含的功能。

2012-06-26 15:20:30

快速部署Hadoop基础架构

据国外媒体消息，为应对海量数据浪潮，VMware启动Serengeti开放原始码计划，便于企业在VMware vSphere虚拟化平台上快速部署与管理Apache Hadoop集群，部署虚拟化技术与分布式计算混用的基础架构。

2012-06-26 15:13:50

Hadoop 数据架构

Hadoop集群系列5:Hadoop安装配置

本文为Hadoop集群系列第五篇，SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。

2012-06-25 10:30:06

VMware的Hadoop大数据战略：精明还是错误？

虚拟基础架构云上的Hadoop消除了可靠性问题;通过vSphere,Hadoop应用如果节点失败能够自动重启。此外，虚拟化巨鳄也正致力于同Hadoop社区成员合作，包括Cloudera Inc.、Greenplum、Hortonworks、IBM,继续致力于ASF的可扩展性，这也是Hadoop“虚拟化感知”的要害所在。

2012-06-21 09:56:50

VMware 大数据

Hadoop集群系列4:SecureCRT使用

本文为Hadoop集群系列第四篇，SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。

2012-06-20 09:19:19

Hadoop集群系列3:VSFTP安装配置

本文为Hadoop集群系列第三篇，VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP。

2012-06-19 15:51:22

Hadoop，有所为而有所不为译文

但是尽管Hadoop颇具吸引力，想了解Hadoop能够为企业扮演什么角色、如何最有效地部署它，仍要面临一条很陡的学习曲线。换句话说，学起来很费劲。只有明白了Hadoop的有所为而有所不为，你才能更清楚地了解如何才能最有效地把它部署到你自己的数据中心或云环境。然后，才可以为部署的Hadoop落实最佳实践。

2012-06-19 09:28:46

Hadoop集群系列2:机器信息分布表

本文为Hadoop集群系列第二篇，讲述如何采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

2012-06-19 09:28:33

Hadoop体系的强大工具组合

HDFS和MapReduce只是打造Hadoop平台最基本的核心套件，在Apache基金会的网站中还有其他的相关开源套件，共同组成了一个Hadoop体系（Hadoop Ecosystem）。

2012-06-15 14:38:29

Hadoop 分布式文件系统

Facebook分享：解决Hadoop的单一故障点译文

Facebook的工程师们开发出了一种方法，以规避Hadoop数据分析平台的一个根本缺点：只依赖单单一台名称服务器来协调所有运营。Facebook估计，如果可以克服这个缺点，就能将其数据仓库的停机时间缩短几乎一半。为了解决这个问题，Facebook开发出了一款名为Avatarnode的软件：万一主名称节点由于某种原因而失效，该软件就会切换至备用名称节点。

2012-06-15 09:54:19

Facebook Hadoop

VMware推Serengeti项目支持Hadoop虚拟化

VMware于美国时间本周三宣布了Serengeti开源项目，旨在为Hadoop在VMware虚拟化环境中的使用进行优化。

2012-06-15 09:22:56

Teradata 动态数据仓库提供私有云优势

2012-06-14 15:30:58

Teradata 数据仓库私有云

Hadoop集群系列1:CentOS安装配置

本文为Hadoop集群系列第一篇，CentOS安装配置。CentOS是一个基于Red Hat企业级Linux提供的可自由使用的源代码企业级的Linux发行版本。

2012-06-13 09:56:53

大数据分析重新定义恶意软件策略

在与恶意软件的战争中，良好的情报一直是决定性因素。但威胁乘以指数，分析信息可能变得和收集它一样的重要。

2012-06-12 10:05:25

恶意软件大数据

SQL Server 2012将与Hadoop无缝集成

SQL Server 2012致力提供大规模且低成本的分析数据和数据仓库解决方案，并保证实现规模化和灵活性。在大数据时代Microsoft也做出了一些完善：SQL Server 2012将与Hadoop无缝集成。

2012-06-08 10:00:01

SQL Server Big Data Hadoop

IT企业利用云计算平台Hadoop的10种方式

如果你是世界上广大Hadoop用户的一员，你肯定知道Google曾经靠着分布式计算技术（Hadoop），在搜索引擎和广告方面取得了举世瞩目的成就。而今天我们要探讨的是，Hadoop 作为基础云计算平台，除了广告，IT公司还用哪些方式在利用Hadoop。

2012-06-07 13:39:20

Hadoop 云计算

大数据技术更需青年人的力量原创

大数据技术虽然比数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了，但真正投入实际应用却是最近几年的事情。这样一个正在发展中的技术，更需要青年人的力量

2012-06-07 13:26:12

IT企业利用云计算平台Hadoop的10种方式

如果你是世界上广大Hadoop用户的一员，你肯定知道Google曾经靠着分布式计算技术(Hadoop)，在搜索引擎和广告方面取得了举世瞩目的成就。今天我们要探讨的是，Hadoop 作为基础云计算平台，除了广告，IT公司还用哪些方式在利用Hadoop。

2012-06-07 09:28:41

云计算 Hadoop

Hadoop也需要有数据生命周期管理

我们希望让Hadoop来承载海量结构化数据和非结构化数据的存储，以及部分的数据加工，也许以后还会通过HIVE或者PIG的方式承载一些高端的即席查询任务。这种混合而不是单一的任务注定了也需要实施生命周期管理，因为数据加工通常是对近段时间的数据进行，而数据存储和数据查询则需要对历史数据进行。

2012-06-06 15:55:36

大数据时代，R 语言已蓄势待发译文

当今系统收集的遥测数据类型变得多种多样，并且为了深入理解，需要对数据进行过滤；同时，开源应用变得越来广受欢迎，这一切都在改变着 R 这一用于统计分析与可视化的语言。随着时代的发展，R语言也在不断的衍变，并成为了当前很多大数据应用当中的一个环节。

2012-06-05 10:02:59

大数据 R语言

分散处理 Hadoop架构服务器角色

在Hadoop运算集群架构中，先分解任务，分工处理再汇总结果这些服务器依据用途可分成Master节点和Worker节点，Master负责分配任务，而Worker负责执行任务，如负责分派任务的操作，角色就像是Master节点。

2012-06-05 08:59:35

Hadoop架构服务器

给Hadoop一个支点：撬动大数据

大数据大概是继云计算之后，最热门的科技名词了。一些科技厂商不约而同，纷纷打出大数据口号，情况就像云计算热潮一样。那么大数据到底是怎么回事？

2012-06-01 16:13:09

Hadoo 大数据

如何使用Hadoop进入大数据库时代？

Hadoop有多火？从业界的一系列举动就可以看出来。包括甲骨文、微软、Sybase在内的主流数据库厂商都纷纷发布了Hadoop连接器产品，为的就是让用户可以在传统关系型数据库与开源分布式处理系统之间更轻松地传输信息。

2012-05-31 15:56:23

Hadoop 大数据

大数据与Hadoop之间的关系

大数据，一种新兴的数据挖掘技术，它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代，很快便可应用于普通企业，在遍地开花的过程中，它将改变许多行业业务经营的模式。但是很多人对大数据存在误解，下面就来缕一缕大数据与Hadoop之间的关系。

2012-05-31 14:54:59

Hadoop 大数据

Hadoop并非大数据处理的一切

Hadoop作为一个重量级的分布式处理开源框架已经在大数据处理领域有所作为，企业希望利用Hadoop来规划其自身未来数据处理的蓝图。从EMC、Oracle到Microsoft，几乎所有高科技厂商都在过去几个月中宣布了自己以Hadoop为基础的大数据战略。然而Hadoop并非大数据处理的一切。

2012-05-31 14:37:10

Hadoop 大数据

Hadoop源码分析之心跳机制

既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢？本文作者将对Hadoop的心跳机制进行详细的分析，详细请看内容

2012-05-31 02:54:07

如何利用Hadoop降低大数据分析成本

大数据将成为代替云计算的新一代热门话题。这是必然的结果：随着时间的推移，企业产生的数据量已经越来越大了，这些数据包括客户购买偏好趋势、网站访问和习惯、客户审查数据等等;那如何利用Hadoop降低大数据分析成本呢?

2012-05-30 11:29:14

Hadoop 大数据

浅析Hadoop文件格式

Hadoop 作为MR 的开源实现，一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过，MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建，因此序列化和反序列化的成本过高[7]。本文介绍Hadoop目前已有的几种文件格式，分析其特点、开销及使用场景。希望加深读者对Hadoop文件格式及其影响性能的因素的理解。

2012-05-29 09:48:21

Hadoop文件格式解读

Hadoop 作为MR 的开源实现，一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。本文介绍Hadoop目前已有的几种文件格式，分析其特点、开销及使用场景。希望加深读者对Hadoop文件格式及其影响性能的因素的理解。

2012-05-29 09:06:32

Hadoop 文件格式

Big Data, Hadoop and StreamInsight

微软的首席StreamInsight™ 项目经理发布的一篇博客 Big Data, Hadoop and StreamInsight™，微软的大数据解决方案中包含 Microsoft StreamInsight™ 和微软的 Hadoop-based Services for Windows。

2012-05-28 13:58:36

Hadoop 大数据

Apache Hadoop 2.0 Alpha 发布

Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

2012-05-28 09:23:40

Java Hadoop Apache

微软BizSpark：托举创业梦想的支点

2012年微软BizSpark新创企业大赛中国区决赛落下帷幕。微软BizSpark™新创企业扶植计划于2008年11月正式在大中华区推出，截至2012年，已经有超过1000家新创企业免费获得微软开发工具、操作系统、数据库、办公软件与服务器软件的使用许可。在2012年的微软BizSpark™新创企业大赛中，微软继续加大对中国新创企业的支持力度

2012-05-22 19:08:20

微软 BizSpark 创业

如何使用Linux、Hadoop进行分布式计算

Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 项目。本文将介绍 Hadoop 框架，并展示它为什么是最重要的基于 Linux® 的分布式计算框架之一。

2012-05-21 16:28:29

基于Hadoop的云计算模型研究

云计算是在网格计算基础上新兴的计算模型，是互联网公司争相追逐的新技术。云计算作为一种商业计算模型，可以把任务分布在大量的计算机构成的资源池上。介绍了云计算的关键技术，这些技术包含虚拟机和计算模型等，还基于Hadoop对云计算模型进行了研究。

2012-05-21 16:08:07

Hadoop 云计算

如何用Hadoop搭建大型分布式应用？

在去年Techonomy会议上参加讨论时，谷歌CEO Eric Schmidt引用一个惊人的事实指出，我们现在每两天创造的信息和2003年以来整个历史上所创建的信息一样多。信息泛滥带来了一系列的技术突破，这让企业的数据存储扩展到数千亿字节甚至是数拍字节。谷歌在此领域的贡献是尤其值得注意，包括它在MapReduce上的工作，它是一种大型分布式数据处理的方法，谷歌采用此方法来记录位于索引资源（映射这些数据）收藏里的关键字或短语，接着再把这些位置的记录和清单返回给用户（将映射数据减少到紧密相关的结果）。映射和减少操作可以涵盖模式识别、图解

2012-05-21 10:19:31

三台主机建立Hadoop小集群

我们将介绍如何用三台主机建立Hadoop小集群，先用VMWare安装三台虚拟机（可以先安装一台，然后clone两台），按照节点安排及网络拓扑配置网络。

2012-05-21 09:42:12

MapReduce操作HBase错误一例

操作HBase时经常会遇到MasterNotRunningException的错误，那我们该如何处理这样的错误呢？

2012-05-17 09:26:43

Hadoop是一个值得信赖的推动引擎

2011年，对Hadoop来说注定是载入史册的一年：Yahoo!与风险投资公司BenchmarkCapital联合建立独立公司Hortonworks，接手Yahoo!开源软件平台ApacheHadoop；Hadoop海量数据分析平台Datameer、Karmasphere和Hadapt分别获得千万美元级别投资；一向对开源趋势不屑一顾的微软转投Hadoop怀抱；Hadoop之父DougCutting第一次莅临中国，布道Hadoop0.23……

2012-05-10 16:32:01

IDC：Hadoop、MapReduce相关收入预计将暴涨

根据IDC周一发布的最新报告，用于大数据分析的Hadoop和MapReduce编程框架相关的软件市场将会从2011年的7700万美元暴涨至2016年的8.128亿美元，年复合增长率为60.2%。

2012-05-09 09:13:29

IDC Hadoop MapReduce

分布式计算平台Hadoop发展现状乱而稳定的解读

雅虎开发者Doug Cutting六年前创建了一个用于管理，存储和分析大量数据的平台，用他儿子的玩具大象命名，并把它交给阿帕奇软件基金会。鉴于围绕Hadoop建立的整个行业的迅速，这会使某些人觉得非常惊讶，那就是阿帕奇软件基金会最近才推出了Apache Hadoop 1.0——被认为是足够稳定而成为“企业就绪”的第一个版本。

2012-05-08 10:46:38

微软新一代商业智能成就中小企业如虎添翼

中小企业在经历了信息化初级阶段建设后，收集了大量数据。但这些数据却无法及时转换为有效的信息价值，而随着市场的竞争需要，企业亟须了解自身存在的不足以及市场的变化趋势。

2012-04-24 12:19:01

商业智能中小企业 SQL Server

Hadoop在MapReduce中使用压缩详解

Hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，Hadoop能够自动为我们将压缩的文件解压，而不用我们去关心。

2012-04-23 10:30:38

数据分析不使用Hadoop的五大理由

我一度是Hadoop的忠实拥护者。我喜欢它可以轻而易举地处理PB级别的数据，喜欢它可以将运算扩展到数千个节点的分布式计算能力，也喜欢它存储和加载数据的灵活性。但在经历过一系列的探索与使用之后，我对Hadoop非常失望。

2012-04-18 09:42:36

数据分析 Hadoop

上一页 1 ··· 174 175 176 177 178 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营