鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9056内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9056 条

数据科学家：21世纪最性感的职业

2006年Jonathan Goldman到商业社交网站LinkedIn工作，那时的LinkedIn还只是刚创业不久，网站注册人数不到8百万，但是很多成员会邀请自己的朋友和同学加入，因此注册人数迅速增加。但是用户要找到已经在网站注册的用户不太容易，比例达不到管理人员的期望值。很明显，有些社交体验缺失了。

2012-10-09 13:41:09

数据科学家职业

福布斯：大数据或因提前成为行业标准而消亡

与其他多数热门词不同的是，“大数据”的受追捧程度却一直保持了数年之久。如果不能成为科技产业今年的流行词的话，“大数据”至少已经成为第三季度的热词。

2012-10-09 11:04:03

福布斯大数据 Big Data

DB-Engines全新数据库排名Oracle居首

DB-Engines 发布最新的数据库系统排名，该排名中 Oracle 居首，而开源的 MySQL 数据库排名第三。详细的数据排行情继续看下文……

2012-10-08 09:21:37

DB-Engines Oracle 数据库

大数据利器Hadoop的应用现状和发展趋势

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。用户可以利用Hadoop轻松地组织计算机资源，从而搭建自己的分布式计算平台，并且可以充分利用集群的计算和存储能力，完成海量数据的处理。

2012-09-28 11:00:19

大数据 Hadoop

Hadoop是大数据平台的唯一？原创

“忽如一夜春风来，千树万树梨花开。”用岑参的这句诗形容大数据最为形象不过了。随着云计算日渐成熟，大数据话题好像突然变得尤为火热，大数据时代正在悄然降临。而提到大数据，不得不说的是与大数据相关的技术名词，Hadoop、MapReduce、Hbase、NoSQL等，业界的众多厂商也都开始从技术入手，打造各自的大数据解决方案，一时间，Hadoop成为了大数据的代名词。

2012-09-26 22:18:19

IBM 大数据 Hadoop

大数据存取的选择：行存储还是列存储？

目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。

2012-09-26 10:42:11

关于分布式系统的数据一致性问题(一)

正好遇到一个博友，咨询了一个问题，这个问题正好可以作为分布式系统的数据一致性的简单例子，当然，这个只是比较简单的情况。

2012-09-24 09:35:42

分布式系统

小白学数据分析:利用SPSS对DAU/MAU进行比率分析

最近在看几个数据分析平台的数据，基本上都有DAU/MAU这个指标，这个指标很早之前就在社交游戏平台得以广泛使用，对于这个指标的一些解析，以前有写过，今天换个角度，通过比率分析来具体的分析一下这个DAU/MAU。或许从中你会得到一些其他的信息。

2012-09-21 10:12:37

Hadoop架构二三事儿

Hadoop是IT行业一个新的热点，是云计算的一个具体实现、Hadoop本身具有很高的技术含量，是IT工程师学习的首选！下面我们来详细讲讲什么是Hadoop。

2012-09-21 09:49:37

云与开放是火车订票服务的未来必然趋势

每到五一、国庆、春节等重大公休假日，抢火车票就变成一种时尚活动，无论是六七十岁的大爷太婆，还是十八七的小年轻，都不得不一早去火车站、代售点盯票，看着人龙一步步腾挪心急如焚，就像是上了屠宰场然后引颈受戳的死刑犯。

2012-09-21 09:41:27

火车订票网络订票订票服务

基于流的数据处理可以使Hadoop运行更快吗？

Apache Hadoop分布式文件处理系统是有好处的，而且它正在获得注意力。然而，它也有坏处。有些组织发现从Hadoop开始的话需要重新思考软件架构，而且它所需要的数据技能也是必要的。

2012-09-20 11:23:18

Hadoop 云计算

全球级的分布式数据库Google Spanner原理

Spanner 是Google的全球级的分布式数据库 (Globally-Distributed Database) 。Spanner的扩展性达到了令人咋舌的全球级，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行。更给力的是，除了夸张的扩展性之外，他还能同时通过同步复制和多版本来满足外部一致性，可用性也是很好的。冲破CAP的枷锁，在三者之间完美平衡。

2012-09-20 09:58:11

分布式分布式数据库数据库

分布式计算Hadoop简介

Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。

2012-09-19 14:09:20

Hadoop成功实施案例之旅游行业译文

前言：上文讲过《Hadoop成功部署案例之eBay篇》与《Hadoop成功部署案例之eBay篇》后，为大家带来第三篇Hadoop成功案例介绍。在本文中为大家介绍的是Orbitz Worldwide旗下的全球消费者旅游品牌每天要处理数以百万计的搜索和交易。

2012-09-18 13:19:45

Hadoop 2.0集群配置详细教程

Hadoop是apache的开源项目，开发的主要目的是为了构建可靠，可拓展scalable ，分布式的系统， Hadoop是一系列的子工程的总和。我们今天就谈谈Hadoop 2.0集群配置。

2012-09-18 09:55:44

媒体都在鬼扯“大数据”，如何发掘大数据的潜力？

下面向大家介绍一个数字，可能大家不常见到：百万的5次方或一万兆，即1,000,000,000,000,000,000（1后边18个0）。IBM曾经估算过一万兆这个概念，即人类每天所产生的新的数据量为2.5万兆。做个对比，地球五大洋里的海水总量为352万兆加仑，如果一字节的数据量相当于一桶水的话，只需要5个月左右所产生的“水”就可以填满整个五大洋。

2012-09-17 09:51:07

大数据发掘大数据数据分析

通过Informatica释放Hadoop强大潜能

在大数据时代，许多人寄希望于Hadoop厂商们能够开发出成熟可靠的工具、功能和技术创新，以更经济的方式、更好的性能实现数据处理和分析。拥有近20年数据集成创新经验和领导才能的Informatica，扩展了其数据集成平台以支持Hadoop，最新发布的Informatica 9.5提供了全新及扩展功能，极好的释放了Hadoop潜能，帮助客户实现大数据最大投资回报。

2012-09-13 16:59:06

Informatica Hadoop 大数据

Hadoop集群搭建之SSH无密码登录配置

在多台电脑上搭建Hadoop集群已经有一段时间了，SSH无密码登录服务配置成了一道无法逾越的鸿沟，在启动hadoop集群时，老是让输入datanode也就是slave的密码，但是输入密码但却总是提示permission denied，启动不了datanode。为什么呢？下面就对ssh密码登录其他主机做一个粗略的说明。

2012-09-13 13:26:40

大数据来袭传统IT厂商紧握Hadoop机遇

大数据时代已经来临，并悄悄的影响着我们的生活。根据IDC最近一项研究显示，在Facebook上每20分钟就有100万个新链接被分享，1000万条用户评论被发布。Facebook和其他所有互联网网站、互联网应用，已经逐渐变成了整个数据采集、分析、处理、增值的数据架构。

2012-09-13 10:07:10

大数据 Hadoop

解决大数据的开源工具

针对大数据的开源源代码平台变得十分流行。在过去的几个月里, 似乎几乎每个人都感觉到了影响。低成本、灵活性和适用于受过训练的人员是开源繁荣的主要原因。Hadoop、R和NoSQL是现在许多企业大数据策略的支柱，不管他们是否用它管理非结构化数据或执行复杂的统计分析。”

2012-09-13 09:52:14

大数据数据应用开源工具

小白学数据分析:留存率是什么？(番外篇)

最近一个时期和很多的人进行了交流，收获了不少，也思考了不少，如今我们都能得到数据，如今我们也都能按照所谓的定义和框架分析问题，只是我觉得有时候不必要一定要一直站在框架内去分析一些问题，进步和前进的力量来自于质疑，并进行革新和再创造。

2012-09-11 11:29:25

Hadoop成功部署案例之通用电气(GE) 译文

上文讲过《Hadoop成功部署案例之eBay篇》后，为大家带来第二篇Hadoop成功案例介绍。在本文中为大家介绍的是通用电气公司的Hadoop成功实施方案。据通用电气公司（GE）Hadoop技术部的产品经理Linden Hillenbrand声称，情感分析很棘手——它不仅仅是个技术挑战，还是个业务挑战。

2012-09-11 09:57:09

Hadoop 部署方案

如何让Hadoop运行得更快一些？

在数据处理方面，我们发现数据输入速度一般要比的数据处理速度快很多，这种现象在大数据领域尤为明显。随着数据不断膨胀，相应的响应时间自然要有所增加，数据处理的复杂度也在不断提高。对于Hadoop来说，如何提升它的速度呢？来看看下文。

2012-09-11 09:16:52

探秘淘宝Hadoop集群

据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。

2012-09-10 15:18:11

云梯淘宝大数据

Hadoop成功部署案例之eBay篇译文

据估计，到2015年，全世界一半以上的数据将涉及Hadoop——围绕这个开源平台的生态系统日益庞大，这有力地印证了这个惊人的数字。然而，有些人表示，虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想猜测这个平台未来会如何，也不想猜测彻底改变各种数据密集型解决方案的开源技术未来会如何，而是关注让Hadoop越来越火的实际应用案例。

2012-09-10 09:39:31

Hadoop 成功部署案例 eBay

让你的Hadoop运行的更快

目前，在数据处理上，我们输入数据的速度往往比我们处理数据的速度快得多。在大数据的环境下，这个问题正变得更加明显。针对这个问题，GigaSpaces的CTO和创始人Nati Shalom日前在他的博客中介绍了如何让Hadoop的速度更快的相关技术。

2012-09-06 09:36:17

谷歌 NatiShalom 数据处理

大数据案例分析：电信业Hadoop应用分析

联通采用了Hadoop、HBase，这里面还有用户管理员信息等等。目前，在客服使用当中感觉也是非常非常好的，更重要的是利用这个系统可以做深入的数据挖掘工作。

2012-09-05 10:21:33

开源破解大数据困局 Hadoop非唯一选择

以Hadoop为代表的一系列开源技术，成为大数据存储、处理和分析的主力军。各大IT巨头瞄准开源技术，纷纷推出各自的大数据战略。Hadoop作为其中的最受关注的技术，已逐渐走向商业化的道路，面向企业提供商用版本，就像红帽对Linux的做法一样。

2012-09-05 09:34:30

大数据进行时：聚光灯后的四大推手

这是一篇来自留英信息工程博士周文哲（@Wennie文哲）的一篇投稿，她于去年创业成立幸福佩智公司，专注于提供 Hadoop 的大数据处理与分析解决方案，产品已被应用到互联网广告、物联网等行业。

2012-09-04 14:23:36

大数据最具潜力的三大应用领域

文章断言，大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。

2012-09-03 14:22:02

运维经验分享：Hadoop管理员的十个最佳实践

大多数管理员都是从Apache Hadoop开始学习。笔者最开始也使用Apache版本Hadoop进行开发和部署工作，但接触到Cloudera CDH后，我发现它可以使管理员的工作更简单，不仅可以获得最新的特性和Bug修复，有时也会带来令人惊喜的性能改善。

2012-09-03 10:39:13

Hadoop 管理员

Hadoop管理员的十个最佳实践

接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。

2012-09-03 10:33:43

Hadoop 管理员

开源破解大数据困局 Hadoop非唯一选择

大数据不仅影响着人们生活的方方面面，更重要的是它给企业带来的改变。一提到大数据，往往会与Hadoop联系起来。不可否认，Hadoop的确是一款非常出色的处理大数据的开源工具。

2012-09-03 10:03:13

开源大数据 Hadoop

与小象共舞领略Hadoop风采——Hadoop培训9月火热报名中

据预测，到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。根据IDC数据显示，截止到2010年，这个数字已经达到了120万PB，或1.2ZB。如果把所有这些数据都存入DVD光盘，光盘高度将等同于从地球到月球的一个来回也就是大约 480,000英里。在这个巨大的数据金矿面前，Hadoop作为对大量有序或无序数据集合的挖掘工具显得尤为亮丽，或普通了解或全面掌握Hadoop成为从事云计算和大数据挖掘工作人员的一项必修课。

2012-08-31 14:38:23

VMworld 2012：Hadoop离虚拟化还有多远？

如果软件应用能够超越一切基础架构的差异性，企业IT将会少掉多少烦恼?本周举行的VMworld 2012大会上，VMWare重申了该公司的重大图谋：将所有物理资源虚拟化，实现全面池化以快速调配和部署，即软件定义型数据中心(SDDC)。在应用层，这家虚拟化巨头正在努力将Hadoop搬进虚机之中，以应对“大数据”。

2012-08-31 10:07:34

深入理解Hadoop集群和网络

本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。

2012-08-31 10:00:12

Hadoop 云计算群集网络

职业体育进入大数据分析时代

《点球成金》这部电影点醒了不少企业家，那些看似呆头呆脑，缺乏运动细胞的数据分析人员原来都是火眼神探，那些看似无聊的数据下其实埋藏着金矿。在体育界，数据分析已经走到了企业应用的前面，传感器和3D雷达正采集着大量的运动员数据，而数据分析的广泛应用也促使职业体育内部发生着广泛而深刻的变化

2012-08-31 09:49:02

大数据分析

Twitter将采用Spark分析大数据

Twitter数据科学家Edwin Chen最近在接受媒体采访的时候透露，Twitter内部希望尝试一种全新的大数据系统——Spark。

2012-08-30 14:33:03

小白学数据分析:付费用户的金子塔模型实践操作

最近看了不少文章，对于付费用户的模型也有了很深刻的理解和认识，早先我做了不少关于大R，中间R，低端R用户的分析，想来还是觉得草草了事，近来有网友提出来，理论探讨的多了些，实践上手的东西少了点，毕竟还是叫做小白学数据分析啊，今天就把以前说过的付费用户的模型具体的实践一下。

2012-08-29 08:49:51

海量数据的二度人脉挖掘算法（Hadoop 实现）

最近做了一个项目，要求找出二度人脉的一些关系，就好似新浪微博的“你可能感兴趣的人” 中，间接关注推荐；简单描述：即你关注的人中有N个人同时都关注了 XXX 。

2012-08-28 09:15:33

Hadoop 海量数据挖掘算法

开源八预言：桌面linux必亡、Hadoop要火_IT技术周刊第286期_51CTO.com 原创

近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Eucalyptus、OpenStack、Hadoop、Ubuntu这些开源项目。

2012-08-27 10:23:24

Google Dremel让大数据不再“恐怖”

Mike Olson是硅谷创业公司Cloudera的CEO，这家公司专门围绕开源软件平台Hadoop发展自身的业务。也许很多人对Hadoop并不是很了解，但是Google正是依赖它成为网络世界最具主导力的巨头。预计到2016年，Hadoop将为整个软件市场创造8.13亿美元的价值，但是Mike Olson居然很淡定的表示这个已经不是什么新闻了。

2012-08-27 10:04:20

PostgreSQL的数组

PostgreSQL 有很多丰富的开箱即用的数据类型，从标准的数字数据类型、到几何类型，甚至网络数据类型等等。虽然很多人会忽略这些数据类型，但却是我最喜欢的特性之一。

2012-08-23 09:33:25

数据库数组 PostgreSQL

2012 IBM软件技术峰会大数据预见未来原创

2012年8月23日，北京国际饭店会议中心，2012 IBM软件技术峰会盛大起航。本次技术峰会涵盖大数据、云计算、敏捷开发和移动开发四大方面，将会有多位IBM技术领头人和专家亲临会场与广大开发者交流。

2012-08-23 08:56:36

运用大数据为你推荐最爱的景点

大数据时代下，不光是Google、Facebook这样的大企业可以做好大数据的分析工作，越来越多的创业公司也开始了自己的大数据之旅。

2012-08-20 09:56:48

开源八预言：桌面linux必亡、Hadoop要火

近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Eucalyptus、OpenStack、Hadoop、Ubuntu这些开源项目。

2012-08-20 08:58:40

开源 linux Hadoop

天云趋势联合中云学院举办Hadoop培训火热报名中

天云趋势联合中云学院举办Hadoop培训火热报名中

2012-08-09 15:40:16

图解数据挖掘K-means算法

K均值聚类算法是指将n个观察值分成k个类，使得每一类中的观察值与该类的均值最接近，与其他的类的均值较远。

2012-08-09 09:57:54

近期Hadoop实施心得与总结

Hadoop实施已经有快一个月了，对Hadoop(1.0.3)的概念理解、使用，Linux 与 Shell脚本，甚至对 Mysql 都有了更多的理解。

2012-08-09 09:42:23

Hadoop NoSQL 实施

用Hadoop和MapReduce进行大数据分析

Google在2001年发布图像搜索功能时，只有2.5亿索引图像，不到10年，这个巨大的搜索功能已经可以检索超过100亿个图像了，每分钟有35小时的内容上传到YouTube。据称，Twitter每天平均5500万条记录。早些时候，搜索功能每天记录6亿条查询记录。这就是我们讨论大数据的意义所在。

2012-08-08 09:53:23

Hadoop MapReduce

上一页 1 ··· 172 173 174 175 176 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营