51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
解决大数据的开源工具
针对大数据的开源源代码平台变得十分流行。在过去的几个月里, 似乎几乎每个人都感觉到了影响。低成本、灵活性和适用于受过训练的人员是开源繁荣的主要原因。Hadoop、R和NoSQL是现在许多企业大数据策略的支柱，不管他们是否用它管理非结构化数据或执行复杂的统计分析。”

2012-09-13 09:52:14

大数据数据应用开源工具
小白学数据分析:留存率是什么？(番外篇)
最近一个时期和很多的人进行了交流，收获了不少，也思考了不少，如今我们都能得到数据，如今我们也都能按照所谓的定义和框架分析问题，只是我觉得有时候不必要一定要一直站在框架内去分析一些问题，进步和前进的力量来自于质疑，并进行革新和再创造。

2012-09-11 11:29:25

数据分析
Hadoop成功部署案例之通用电气(GE) 译文
上文讲过《Hadoop成功部署案例之eBay篇》后，为大家带来第二篇Hadoop成功案例介绍。在本文中为大家介绍的是通用电气公司的Hadoop成功实施方案。据通用电气公司（GE）Hadoop技术部的产品经理Linden Hillenbrand声称，情感分析很棘手——它不仅仅是个技术挑战，还是个业务挑战。

2012-09-11 09:57:09

Hadoop部署方案
如何让Hadoop运行得更快一些？
在数据处理方面，我们发现数据输入速度一般要比的数据处理速度快很多，这种现象在大数据领域尤为明显。随着数据不断膨胀，相应的响应时间自然要有所增加，数据处理的复杂度也在不断提高。对于Hadoop来说，如何提升它的速度呢？来看看下文。

2012-09-11 09:16:52

Hadoop
探秘淘宝Hadoop集群
据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。

2012-09-10 15:18:11

云梯淘宝大数据
Hadoop成功部署案例之eBay篇 译文
据估计，到2015年，全世界一半以上的数据将涉及Hadoop——围绕这个开源平台的生态系统日益庞大，这有力地印证了这个惊人的数字。然而，有些人表示，虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想猜测这个平台未来会如何，也不想猜测彻底改变各种数据密集型解决方案的开源技术未来会如何，而是关注让Hadoop越来越火的实际应用案例。

2012-09-10 09:39:31

Hadoop成功部署案例eBay
让你的Hadoop运行的更快
目前，在数据处理上，我们输入数据的速度往往比我们处理数据的速度快得多。在大数据的环境下，这个问题正变得更加明显。针对这个问题，GigaSpaces的CTO和创始人Nati Shalom日前在他的博客中介绍了如何让Hadoop的速度更快的相关技术。

2012-09-06 09:36:17

谷歌NatiShalom数据处理
大数据案例分析：电信业Hadoop应用分析
联通采用了Hadoop、HBase，这里面还有用户管理员信息等等。目前，在客服使用当中感觉也是非常非常好的，更重要的是利用这个系统可以做深入的数据挖掘工作。

2012-09-05 10:21:33

大数据
开源破解大数据困局 Hadoop非唯一选择
以Hadoop为代表的一系列开源技术，成为大数据存储、处理和分析的主力军。各大IT巨头瞄准开源技术，纷纷推出各自的大数据战略。Hadoop作为其中的最受关注的技术，已逐渐走向商业化的道路，面向企业提供商用版本，就像红帽对Linux的做法一样。

2012-09-05 09:34:30

大数据
大数据进行时：聚光灯后的四大推手
这是一篇来自留英信息工程博士周文哲（@Wennie文哲）的一篇投稿，她于去年创业成立幸福佩智公司，专注于提供 Hadoop 的大数据处理与分析解决方案，产品已被应用到互联网广告、物联网等行业。

2012-09-04 14:23:36

大数据
大数据最具潜力的三大应用领域
文章断言，大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。

2012-09-03 14:22:02

大数据
运维经验分享：Hadoop管理员的十个最佳实践
大多数管理员都是从Apache Hadoop开始学习。笔者最开始也使用Apache版本Hadoop进行开发和部署工作，但接触到Cloudera CDH后，我发现它可以使管理员的工作更简单，不仅可以获得最新的特性和Bug修复，有时也会带来令人惊喜的性能改善。

2012-09-03 10:39:13

Hadoop管理员
Hadoop管理员的十个最佳实践
接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。

2012-09-03 10:33:43

Hadoop管理员
开源破解大数据困局 Hadoop非唯一选择
大数据不仅影响着人们生活的方方面面，更重要的是它给企业带来的改变。一提到大数据，往往会与Hadoop联系起来。不可否认，Hadoop的确是一款非常出色的处理大数据的开源工具。

2012-09-03 10:03:13

开源大数据Hadoop
与小象共舞 领略Hadoop风采——Hadoop培训9月火热报名中
据预测，到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。根据IDC数据显示，截止到2010年，这个数字已经达到了120万PB，或1.2ZB。如果把所有这些数据都存入DVD光盘，光盘高度将等同于从地球到月球的一个来回也就是大约 480,000英里。在这个巨大的数据金矿面前，Hadoop作为对大量有序或无序数据集合的挖掘工具显得尤为亮丽，或普通了解或全面掌握Hadoop成为从事云计算和大数据挖掘工作人员的一项必修课。

2012-08-31 14:38:23

Hadoop
VMworld 2012：Hadoop离虚拟化还有多远？
如果软件应用能够超越一切基础架构的差异性，企业IT将会少掉多少烦恼?本周举行的VMworld 2012大会上，VMWare重申了该公司的重大图谋：将所有物理资源虚拟化，实现全面池化以快速调配和部署，即软件定义型数据中心(SDDC)。在应用层，这家虚拟化巨头正在努力将Hadoop搬进虚机之中，以应对“大数据”。

2012-08-31 10:07:34

VMware
深入理解Hadoop集群和网络
本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。

2012-08-31 10:00:12

Hadoop云计算群集网络
职业体育进入大数据分析时代
《点球成金》这部电影点醒了不少企业家，那些看似呆头呆脑，缺乏运动细胞的数据分析人员原来都是火眼神探，那些看似无聊的数据下其实埋藏着金矿。在体育界，数据分析已经走到了企业应用的前面，传感器和3D雷达正采集着大量的运动员数据，而数据分析的广泛应用也促使职业体育内部发生着广泛而深刻的变化

2012-08-31 09:49:02

大数据分析
Twitter将采用Spark分析大数据
Twitter数据科学家Edwin Chen最近在接受媒体采访的时候透露，Twitter内部希望尝试一种全新的大数据系统——Spark。

2012-08-30 14:33:03

Spark
小白学数据分析:付费用户的金子塔模型实践操作
最近看了不少文章，对于付费用户的模型也有了很深刻的理解和认识，早先我做了不少关于大R，中间R，低端R用户的分析，想来还是觉得草草了事，近来有网友提出来，理论探讨的多了些，实践上手的东西少了点，毕竟还是叫做小白学数据分析啊，今天就把以前说过的付费用户的模型具体的实践一下。

2012-08-29 08:49:51

数据分析
海量数据的二度人脉挖掘算法（Hadoop 实现）
最近做了一个项目，要求找出二度人脉的一些关系，就好似新浪微博的“你可能感兴趣的人” 中，间接关注推荐；简单描述：即你关注的人中有N个人同时都关注了 XXX 。

2012-08-28 09:15:33

Hadoop海量数据挖掘算法
开源八预言：桌面linux必亡、Hadoop要火_IT技术周刊第286期_51CTO.com 原创
近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Eucalyptus、OpenStack、Hadoop、Ubuntu这些开源项目。

2012-08-27 10:23:24

IT技术周刊
Google Dremel让大数据不再“恐怖”
Mike Olson是硅谷创业公司Cloudera的CEO，这家公司专门围绕开源软件平台Hadoop发展自身的业务。也许很多人对Hadoop并不是很了解，但是Google正是依赖它成为网络世界最具主导力的巨头。预计到2016年，Hadoop将为整个软件市场创造8.13亿美元的价值，但是Mike Olson居然很淡定的表示这个已经不是什么新闻了。

2012-08-27 10:04:20

Google Drem
PostgreSQL的数组
PostgreSQL 有很多丰富的开箱即用的数据类型，从标准的数字数据类型、到几何类型，甚至网络数据类型等等。虽然很多人会忽略这些数据类型，但却是我最喜欢的特性之一。

2012-08-23 09:33:25

数据库数组PostgreSQL
2012 IBM软件技术峰会 大数据预见未来 原创
2012年8月23日，北京国际饭店会议中心，2012 IBM软件技术峰会盛大起航。本次技术峰会涵盖大数据、云计算、敏捷开发和移动开发四大方面，将会有多位IBM技术领头人和专家亲临会场与广大开发者交流。

2012-08-23 08:56:36

IBM大数据
运用大数据为你推荐最爱的景点
大数据时代下，不光是Google、Facebook这样的大企业可以做好大数据的分析工作，越来越多的创业公司也开始了自己的大数据之旅。

2012-08-20 09:56:48

大数据
开源八预言：桌面linux必亡、Hadoop要火
近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Eucalyptus、OpenStack、Hadoop、Ubuntu这些开源项目。

2012-08-20 08:58:40

开源linuxHadoop
天云趋势联合中云学院举办Hadoop培训 火热报名中
天云趋势联合中云学院举办Hadoop培训 火热报名中

2012-08-09 15:40:16

Hadoop培训
图解数据挖掘K-means算法
K均值聚类算法是指将n个观察值分成k个类，使得每一类中的观察值与该类的均值最接近，与其他的类的均值较远。

2012-08-09 09:57:54

K-means
近期Hadoop实施心得与总结
Hadoop实施已经有快一个月了，对Hadoop(1.0.3)的概念理解、使用，Linux 与 Shell脚本，甚至对 Mysql 都有了更多的理解。

2012-08-09 09:42:23

HadoopNoSQL实施
用Hadoop和MapReduce进行大数据分析
Google在2001年发布图像搜索功能时，只有2.5亿索引图像，不到10年，这个巨大的搜索功能已经可以检索超过100亿个图像了，每分钟有35小时的内容上传到YouTube。据称，Twitter每天平均5500万条记录。早些时候，搜索功能每天记录6亿条查询记录。这就是我们讨论大数据的意义所在。

2012-08-08 09:53:23

HadoopMapReduce
浅谈数据分析师的级别
我们将简单谈一下数据分析师的集中级别，及其工作的大概范围。供大家参考。

2012-08-08 09:00:29

数据分析师
大数据时代 数据分析师的尴尬
这个七月着实忙碌了好久，也是工作的小事情不断，回头想想自己忙什么了，感觉好像真的没什么忙的，不过却又忙碌了这些天。这也是导致这么多天啥也没写的原因。确实现在有点感受到了一个好朋友说的，东西很散，有时候太忙了，没办法写出来。体味了一下这样的感觉，确实很忙，不过每天还是可以拿出那么一点时间来写些东西。

2012-08-07 17:32:25

数据分析师
推销高手亚马逊的秘密:数据挖掘
我们都知道Facebook、谷歌以及苹果等公司十分了解用户。事实上，亚马逊可能更胜一筹。这家零售巨头每天都在证明这一点。市场调研公司的数据显示，亚马逊网站推荐的销售转化率可以高达60%。

2012-08-07 09:27:13

数据挖掘
中国民生的大数据之路 原创
中国民生的大数据之路 中国大多数之国民对于大数据并没有特别的印象，但我们一定都有为了办理某个证件去各大机关求神拜佛的经历。其实这二者，本因由一根叫“大数据”的链条连接。

2012-07-25 09:28:10

大数据
交通银行基于Teradata数据仓库平台构建事件式营销系统
全球金融市场竞争日趋激烈，各大银行的产品和服务差异越来越小，银行正将赢利聚焦点转向“以客户为中心”。全球领先的数据分析解决方案厂商Teradata天睿公司(Teradata Corporation，美国纽约证券交易所交易代码：TDC)再度助力中国第五大商业银行——交通银行，以数据仓库平台为基础，构建事件式营销系统，实现了经营效益与管理效率双丰收。

2012-07-24 13:52:32

Teradata
Oracle内存数据仓库Exalytics
Oracle Exalytics硬件被设计在一个3U的机架单元中，并针对商业智能工作负载中的内存分析进行了优化。多个Oracle Exalytics机可以聚集在一起，以扩大可用内存容量，从而提供高可用性

2012-07-23 14:38:16

Exalytics
天云趋势联合中云学院推出Hadoop培训公开课
目前，互联网正从数据爆炸进一步发展到海量数据分析和挖掘的时代，而基于Hadoop技术的解决方案为海量数据存储和处理提供了经济、高效、高安全性和高可靠性的保障，Apache Hadoop也因此成为大数据行业发展背后的驱动力。

2012-07-18 10:30:40

Hadoop培训
大数据时代最缺的是什么？人才 原创
大数据已经是IT业界耳熟能详的词语，现在每一场技术盛会上不谈论大数据你都不好意思跟人打招呼。Hadoop、Mapreduce、NoSQL以及各大厂商自己的软硬件大数据解决方案层出不穷。不过大数据时代的中国最缺的是什么呢？人才。

2012-07-17 10:54:21

大数据
大数据到底会是谁的机会？ 原创
从2011年开始，英文IT界开始时不时的蹦出“Big Data”这一词汇；到了2012年，大数据成为了一发不可收拾的一个行业热门概念，仿佛出口不提大数据，都不好意思说自己是搞IT的。整个网络的数据积累速度之快，对于从上个世纪成长起来的人们而言实在是非常震惊。接下来的问题就是，究竟谁会对这些数据感兴趣？

2012-07-13 16:29:30

大数据
Hadoop危机？替代HDFS的8个绝佳方案
HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，坦白说HDFS是一个不错的分布式文件系统，它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

2012-07-13 10:17:39

HadoopHDFS
Hadoop的十大应用场景
在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是Hadoop的最大用户呢？

2012-07-12 09:41:42

Hadoop分布式技术
Hadoop架构中的HDFS和NameNode
到目前为止，我们谈到Hadoop是一个创建分布式集群的框架，能够处理大的、不同的数据集。然而，另一个说法是将Hadoop理解为一个存储设备或存储环境。确实，它是一个能够在其上创建应用的平台，有存储PB级数据的能力。此外，它能够处理并分析数据;提供越来越多的“大数据”应用结果。

2012-07-11 17:21:23

HadoopHDFS
BigQuery谷歌企业级大数据分析平台初体验
自Google发布BigQuery以来，国内除一些资讯和简短的介绍性文章外，似乎很少有人提及。作为Google基于云平台的企业级数据分析服务，BigQuery还是值得深入了解的，至少它是一种可选的低成本解决方案。

2012-07-10 09:29:44

BigQuery
Hadoop集群系列9:HDFS初探之旅
本文为Hadoop集群系列第九。HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，今天我们讲讲Hadoop条件下，Eclipse开发环境设置。

2012-07-05 10:51:57

Hadoop集群
关于大数据 CEO们需要了解的五个问题
大数据是当下最热门的技术词汇，而且它的确有充足的理由证明自己的热度。其处理巨大数据量的能力在之前是无法想象的，而现在，各行各业都可以借助这种大数据处理的能力，且不需要类似超级计算机这样的硬件条件。

2012-07-04 17:06:53

大数据
告诉你Hadoop是什么
Hadoop是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.

2012-07-03 16:56:12

Hadoop
Facebook的Hadoop应用与故障转移方案
我们知道，Facebook使用Hadoop来进行大数据的处理，但Facebook又是如何保障频繁、庞大的数据请求等高压环境下不发生故障的呢？我们一起来了解一下Facebook内部的Hadoop使用情况以及其NameNode故障转移技术。

2012-07-03 11:38:32

FacebookHadoop
Hadoop核心机制详细解析
Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中，通过Hadoop，可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群，提供大数据量的存储和处理能力。

2012-07-03 10:57:54

Hadoop核心机制
Hadoop集群系列8：Eclipse开发环境设置
本文为Hadoop集群系列第八篇，今天我们讲讲Hadoop条件下，Eclipse开发环境设置。

2012-07-03 08:37:24

Hadoop集群
上一页 1 ··· 173174175176177 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服