鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9076内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9076 条

Spark集群部署

本文将为您介绍如何在虚拟机环境部署Spark集群。集群上已经成功部署了Hadoop2.2，软件环境为64位Ubuntu12.04 LTS。

2014-04-16 10:41:58

大数据基础知识：分布式计算、服务器集群

大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V。

2014-04-16 09:12:10

百度、阿里、腾讯对待大数据的不同思路

拥有海量数据的公司已在多个领域尝试对掌握的数据进行利用，大数据意识和能力进步飞快，体系和工具日趋成熟。

2014-04-14 10:02:48

Apache Spark三种分布式部署方式比较

目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN。

2014-04-09 14:59:55

Cloudera将Spark划入Hadoop

Spark作为一个通用的并行计算框架，已经成为继Hadoop之后又一大热门开元项目，逐渐获得很多企业的支持。近日，Cloudera正式宣布开始商业支持Apache Spark 机器学习和数据流处理环境。

2014-04-09 10:55:55

PostgreSQL痛点的解决方案

PostgreSQL是一个很老的系统，可以追溯到1996；它被很多用户在多种操作系统上运行。因此，PostgreSQL开发商被他们可以添加的Linux指定代码的数量所限制。它是基于合作进程的，没使用线程。系统 V 共享内存用于进程间通信。重要的是，PostgreSQL维护它自己的内部缓冲区，但也使用 I/O 缓冲来读写磁盘数据。这种缓冲的组合导致了 PostgreSQL 用户所经历的一些问题。

2014-04-08 09:49:27

PostgreSQL 双缓冲

开源Hadoop较高下：IBM与AWS关键看啥？

多年来，开源初创公司Cloudera和Hortonworks在Hadoop市场一直占有绝对地位，诸如Oracle、微软以及其他一些公司也想在这个市场占有一席之地，但更多是通过与专业的Hadoop初创公司建立伙伴关系间接地参与市场争夺。

2014-04-01 11:14:29

AWS IBM 开源Hadoop

原来是这么玩，解析全球十大电信巨头如何玩大数据

对于电信运营商而言，没有哪一个时代能比肩4G时代，轻松掌握如此海量的客户数据。4G时代，手机购物、视频通话、移动音乐下载、手机游戏、手机IM、移动搜索、移动支付等移动数据业务层出不穷。它们在为用户创造了前所未有的新体验同时，也为电信运营商挖掘用户数据价值提供了大数据的视角。数据挖掘、数据共享、数据分析已经成为全球电信运营商转变商业模式，赢取深度商业洞察力的基本共识。

2014-03-31 14:59:08

Spark会是大数据领域的下一个大家伙吗？_IT技术周刊第359期

2014-03-31 13:47:35

大数据时代的数据库集群技术漫谈

本篇文章将对集群的概念、形式以及目前主流的数据库集群技术进行探讨。

2014-03-28 15:10:09

大数据数据库集群

MongoDB集群搭建及Sharding的实现思路

选择一个合适索引而减少索引量，这种索引叫做重复索引,能够在索引中直接查找到所有要查询的索引，叫做覆盖索引，能够满足覆盖索引的条件并且排序次序又能够与索引的次序相同，这种次序是"3星"的,所以任何时候创建索引的目的一定要与搜索码完全匹配，至少保持一致.

2014-03-28 09:35:11

MongoDB Sharding

优酷土豆应用Spark完善大数据分析案例

优酷土豆作为国内最大的视频网站，和国内其他互联网巨头一样，率先看到大数据对公司业务的价值，早在2009年就开始使用Hadoop集群，随着这些年业务迅猛发展，优酷土豆又率先尝试了仍处于大数据前沿领域的Spark/Shark 内存计算框架，很好地解决了机器学习和图计算多次迭代的瓶颈问题，使得公司大数据分析更加完善。

2014-03-27 09:36:36

对比Hadoop 分析Spark受多方追捧的原因

作者Mikio Braun是柏林工业大学机器学习专业的博士后，他通过描述了自己对Spark逐步认识的过程，为我们剖析了Spark的原理和应用。

2014-03-26 11:09:27

Apache Spark是大数据领域的下一个大家伙吗？

Spark是一个基于内存in-memory数据处理平台，兼容于Hadoop 数据源但是比Hadoop MapReduce运行得快得多。.特别适合于机器学习处理。

2014-03-26 10:59:14

Apache Spark的R语言前端：SparkR

SparkR是一个R语言包提供了一个轻量级的前端，用于从R语言中使用Apache Spark。SparkR通过RDD类暴露Spark API，允许用户以交互方式在集群上从R shell运行jobs。

2014-03-26 10:52:24

Hadoop部署常用的小脚本

最近抛弃非ssh连接的Hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本完成，只要在一台机器上面就可以做公钥的分发了。

2014-03-18 10:19:55

Hadoop部署 hadoop集群脚本

使用Windows Azure搭建Hadoop集群

本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群。

2014-03-17 10:05:45

淘宝主搜索离线集群完成Hadoop 2.0升级

淘宝搜索离线dump集群(hadoop&hbase)2013进行了几次重大升级，本文中将这些升级的详细过程、升级中所遇到的问题以及这些问题的解决方案分享给大家。至此，淘宝主搜索离线集群完全进入Hadoop 2.0时代。

2014-03-13 10:14:59

离线集群 Hadoop 2.0 淘宝

如何让Hadoop结合R语言做大数据分析？

R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在大数据领域大展拳脚，这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。

2014-03-12 10:17:22

十面"霾"伏下的大数据预言

大数据时代下的气象服务是什么样子？在看得见的未来，融入地理信息、社会经济等多维度数据，能够让人们知道下一刻哪里可能会发生什么，比如这阵风是否会吹翻门口的广告牌，前面一个高速路口是不是在下雨堵车。

2014-02-25 15:40:25

大数据史记2013：盘点中国2013行业数据量

2013 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2012 年，相当于2009 年全球的数据总量。预计到2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。

2014-02-24 09:48:05

数据可视化软件在大数据时代的局限性

如今，数据可视化软件风靡起来，很多企业认为数据可视化软件是启用先进分析技术的入口。但对一些应用而言，情况并不是这样的。

2014-02-21 11:30:08

数据可视化大数据

Hadoop虽然强大，但不是万能的

随着 Hadoop 应用的不断拓展，使很多人陷入了对它的盲目崇拜中，认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架，但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop。

2014-02-17 10:56:21

大数据之路（二）大数据结构化数据存储应用模式

　胖子哥是我网名，叫了很多年的网名，网名的来历与自己的沧桑和身材有关，不知是IT改变了我，显得苍老，还是我本就苍老，顺应了IT行业的需要。还是继续胖子哥的大数据之路吧，这次要谈的还是数据仓库。

2014-02-17 10:28:34

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

2014-02-14 15:43:16

YARN又被称为MapReduce 2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供 Java 虚拟机内存的隔离。

2014-02-14 15:30:18

Hadoop日志分析工具：White Elephant

White Elephant 是一个Hadoop日志收集器和展示器，它提供了用户角度的Hadoop集群可视化。White Elephant 是全球最大的职业社交网站Linkedin开发的一套分析Hadoop作业日志的系统，完全开源。

2014-02-12 10:28:50

大数据之路（一）数据仓库也需要大数据

大数据传统企业实施，其路漫漫，绝不会如昙花一现，探索大数据在传统行业的实施之路，寻找一条适合传统行业的企业大数据实施方法体系，是我执着坚守的信念，大数据是一种信仰，吾将上下而求索。记下项目中的点滴，算是日志，自勉。

2014-02-12 09:22:28

大数据落地什么较困难，是业务整合还是文化采纳?

围绕着大数据的炒作可谓极其疯狂，这种炒作也在推动着大量的投资进入这一领域。

2014-02-11 16:39:49

大数据背景下个性化服务如何成功落地？

身处大数据时代，企业有更多的机会去了解消费者，甚至会比消费者自己还要了解自己的需求。但事实上鲜有顾客真正获得精准、贴心的个性化服务，是企业不够用心还是顾客太挑剔？个性化服务落地难的个中缘由到底是什么？身处在数据时代，企业如何快速把握消费者的个性化需求和心理预期？有了庞大数据的支撑，企业的个性化服务会变得更加靠谱、更接地气吗？

2014-02-10 09:21:25

你会用吗？Linux五大数据可视化工具

Linux上用来实现数据的图形可视化的应用程序有很多，从简单的 2-D 绘图到 3-D 制图，再到科学图形编程和图形模拟。幸运的是，这方面的工具有很多开放源码实现，包括 gnuplot、GNU Octave、Scilab、MayaVi、Maxima 等。每个工具都有自己的优缺点，并且都是针对不同的应用程序而设计的。对这些开放源码图形可视化工具进行一下探索，有助于我们更好地决定哪个工具最适合我们的应用程序。

2014-02-09 16:20:20

大数据挑战：敢不敢不要加入人的判断？

在我们生活的这个时代，有这样一个简单原则：随着数据数量的不断增长，人们判断力的重要性应该逐渐降低。

2014-01-23 16:53:49

Teradata数据仓库加速Sligro食品集团的商业智能建设

全球领先的数据分析平台、应用和服务供应商Teradata天睿公司宣布，欧洲食品零售以及餐饮批发领导企业Sligro食品集团已经选择Teradata数据仓库实现预测性分析。这一全新且高效的平台将帮助该集团获得崭新视角，更好地预测未来的客户和市场发展，进一步实现从供应驱动型向需求驱动型运营模式的转变。

2014-01-22 10:11:49

Teradata 数据仓库

Google打造云中Hadoop便捷版强势对抗AWS

开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了，理论上，Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。这将对AWS和它的EC2造成很大冲击。

2014-01-17 10:03:51

Google Hadoop AWS

预测2014年大数据：不再只是停留在吹捧上

位于俄勒冈州波特兰市的咨询和研究分析机构发布了9项针对新的一年的官方预测，下面来看一下他们如何预测2014年的。

2014-01-17 10:03:31

微软和OpenStack成亚马逊Hadoop即服务新对手

HDInsight通过使用微软和Apache工具让Windows Azure用户可以访问Hadoop。OpenStack的Savanna项目为开源提供商提供了一个选择，但是作为一个不断发展的项目，用户还无法期望得到一个完整的交钥匙解决方案。

2014-01-14 09:11:24

微软 OpenStack 亚马逊

Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

Capacity Scheduler是YARN中默认的资源调度器。想要了解Capacity Scheduler是什么，可阅读我的这篇文章“Hadoop Capacity Scheduler分析”。

2014-01-07 17:18:51

Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

2014-01-07 16:34:36

Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。

2014-01-07 15:23:15

Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:17:08

Hadoop YARN配置参数剖析(1)—RM与NM相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:05:25

Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。

2014-01-07 14:29:14

Hadoop 2.0中作业日志收集原理以及配置方法

Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平台，因此，提供一个通用的日志收集模块势在必行，由于目前通用日志收集模块正在开发中（可参考“YARN-321”），本文仅介绍MRv2（MapReduce On YARN）自带的日志收集模块，包括工作原理以及配置方法。

2014-01-07 14:16:22

Hadoop2.0 日志

Hadoop MapReduce两种常见的容错场景分析

本文将分析Hadoop MapReduce（包括MRv1和MRv2）的两种常见的容错场景，第一种是，作业的某个任务阻塞了，长时间占用资源不释放，如何处理？另外一种是，作业的Map Task全部运行完成后，在Reduce Task运行过程中，某个Map Task所在节点挂了，或者某个Map Task结果存放磁盘损坏了，该如何处理？

2014-01-07 14:04:13

Hadoop MapReduce

Hadoop日志到底存在哪里？

初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。

2014-01-07 13:54:40

Hadoop YARN常见问题以及解决方案

本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。

2014-01-07 13:54:02

将Spark部署到Hadoop 2.2.0上

本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上，如果你们的Hadoop是其他版本，比如CDH4，可直接参考官方说明操作。

2014-01-07 11:24:45

Spark：利用Eclipse构建Spark集成开发环境

前一篇文章“Apache Spark学习：将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包，而本文则在此基础上，介绍如何利用Eclipse构建Spark集成开发环境。

2014-01-07 10:36:32

利用Scala语言开发Spark应用程序

park内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。

2014-01-07 10:12:15

大数据处理利器：Hadoop具有五大优势

Hadoop是一个高度可扩展的存储平台，因为他可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。不同于传统的关系型数据库系统不能扩展到处理大量的数据，Hadoop是能给企业提供涉及成百上千TB的数据节点上运行的应用程序。

2013-12-30 10:40:12

大数据处理大数据 Hadoop

上一页 1 ··· 165 166 167 168 169 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营