鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9088内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9088 条

NoSQL数据库的35个应用场景

当纵览一些不用的数据模型和产品的时候，综合考虑数据模型、产品特性和应用情景。不同产品功能各异，只凭数据模型来决定选择谁是不可能的。

2013-02-27 10:23:55

NoSQL 数据库

英特尔：相同的大数据不同的Hadoop

全球的数据使用量到2020将将会增长44倍，达到35.2ZB(1ZB=10亿TB)。Facebook、Twitter、微博等各种社交平台的海量数据，以及视频通讯、医疗影像、地理信息和监控录像等视频内容也会极具增加，加之传感器、RFID阅读器、导航终端等非传统IT设备和移动设备，都将产生越来越多的数据。增加的这些数据当中，有80%的数据属于非结构化。

2013-02-27 10:19:35

英特尔大数据 Hadoop

大数据平民化：Hortonworks推出Windows版Hadoop

本周一，在与微软合作一年后，Hortonworks终于发布了Windows版Hortonworks 大数据平台(Hortonworks Data Platform)，目前已经开放下载，通用版本预计将在今年第二季度完成。这标志着Hortonworks发布的Hadoop商业发行版本将能同时运行在Linux和Windows两大平台。

2013-02-26 09:40:00

Hortonworks Windows Hadoop

SQL Server数据挖掘规则实现商品推荐1

假如你有一个购物类的网站，那么你如何给你的客户来推荐产品呢？这个功能在很多电商类网站都有，那么，通过SQL Server Analysis Services的数据挖掘功能，你也可以轻松的来构建类似的功能。

2013-02-25 10:33:36

Red Hat开源其Hadoop存储系统

Red Hat本周三宣布开源其Red Hat Storage Hadoop插件，作为HDFS的替代产品。RedHat Storage hadoop插件基于Gluster文件系统。

2013-02-22 11:07:36

Red Hat 开源 Hadoop

企业大数据如何起步：从小数据到大数据

前国内外关于大数据的谈论很多，大多是谈运营级别的，或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说，大数据跟他们有什么关系，或者说作为企业方怎样去参与，这是企业方现在面临的最大问题。

2013-02-21 16:36:09

初创公司Citus Data将CitusDB扩展到Hadoop

大数据已经打开了企业数据分析以及选择性数据存储的视野。那么这两项的结合往往意味着需要学习新的语言，使用多工具处理，而且在分析平台上还可能需要牺牲一部分性能。

2013-02-21 09:41:49

CitusData 数据库 Postgres

“夫妻档”初创公司百万美元打造实时Hadoop系统

如果问及任何Hadoop的有关人士， Hadoop如何超越目前的批量处理平台，那么“实时”无疑是其中最主要的一个答案。事实上，这也是下个月“ Structure: Data”的一个讨论主题，企业希望Hadoop成为一个可操作的数据库以及具有各种类型的OLAP引擎。

2013-02-20 09:51:17

HStreaming JanaUhlig 初创公司

Informatica牵手亚马逊Redshift 改变数据仓库的经济性

全球独立企业数据集成软件提供商Informatica，近日宣布了“用于Amazon Redshift的Informatica云连接器”(Informatica Cloud Connector for Amazon Redshift)，作为基于云数据仓库的服务，它是一个可直接连接到Amazon Web Service(AWS)的云数据集成解决方案。在云分析的基础之上，Informatica这个新型产品可为小型及大型机构提供一个可行和极具经济效益的选择，旨在改变数据仓库的经济性。

2013-02-19 15:33:25

Informatica 数据仓库 Amazon Reds

英特尔大数据智慧：Apache Hadoop更优性能

英特尔与 Apache Hadoop 社区开展协作，支持系统管理员尽可能地实现其 Apache Hadoop 集群的最高性能——同时保证复杂度处于最低限度。英特尔开发了 HiTune 性能分析器和 HiBench 基准测试套件，用它们来降低 Apache Hadoop 性能调优的复杂性，用户可以在更短的时间内更有信心地设计和实现 Apache Hadoop 解决方案。

2013-02-18 15:15:32

英特尔大数据 Apache

使用大数据做出更明智业务决策

大数据咨询公司NewVantage Partners在近期公布的报告中指出，尤其是金融服务公司这类大型公司正在快速采用大数据，并且这一速度比预期的要快。这些公司是如何利用大数据做出更明智的业务决策的呢?

2013-02-18 11:16:10

华为通过微软2012 Fast Track数据仓库认证

华为今天宣布成为中国首家通过微软SQL Server 2012 Fast Track数据仓库认证的厂家，华为Tecal RH2288 V2成为基于SSD加速卡的SQL Server Fast Track认证服务器。

2013-02-01 12:42:58

华为微软数据库

Apache Hadoop集群的安全性架构

虽然基于现有的基础设施或定制的内部监控程序不同，使用的工具也可能有所不同。但是对于依靠Hadoop业务运营的公司来说，部署必不可少的“警卫”和检查，进而来保护Hadoop节点的安全性都是至关重要的。以下的10个组件应该作为部署Apache Hadoop安全性架构的讨论指南。

2013-01-29 10:20:06

MapReduce Hadoop 架构

小白学数据分析：留存率分析

最近在做留存分析时，遇到了不少的情况，也经常会有人问我，为什么我的游戏突然次日留存率降了一半。如果留存率是单单作为一个简单的指标的话，那对你价值还是蛮有限的，今天就和大家说说一个case，这是不久前解决掉的问题，相信会帮助不少人。OK，这也将作为留存率分析的第一篇文章，后续在和各位分享。

2013-01-29 09:57:23

2015年65%高级分析产品将嵌入Hadoop

尽管在2012年部署Hadoop系统需要特殊技巧，但是，机构认识到Hadoop驱动的分析给大数据程序带来的实力。这对于分析糟糕的结构化数据、文本、行为分析和基于时间的查询更是如此。虽然IT机构在过去几年里进行了测试，特别是使用具有Hadoop功能的数据库管理系统产品和设备进行了测试，但是，应用提供商将更进一步，在打包的应用中嵌入专用的、基于Hadoop的分析功能。

2013-01-29 09:16:43

分析 Hadoop 大数据

Joyent和SkyTap分别推出云Hadoop服务

这是厂商通过推出最新技术使自己的产品差异化的最新举措，也是提高大数据分析云应用的最新举措。在这种应用中，实际上有无限的资源根据按使用付费的定价模式向用户提供。

2013-01-25 11:09:29

大数据 Hadoop集群云Hadoop服务

Gartner和Ovum看淡“大数据”热潮

在2012年，“大数据”和行业发展趋势度过了“得意”的一年，但根据分析公司Ovum和Gartner表示，这股热潮很快就会淡出人们的视线。

2013-01-25 10:14:24

Gartner 大数据

Hadoop：为什么RAID-0不行？

RAID-0又称为Stripe或Striping，其原理是把连续的数据分散到多个磁盘上存取，这样，系统有数据请求就可以被多个磁盘并行的执行，每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽，显著提高磁盘整体存取性能。多年应用下来，RAID-0优势很明显。

2013-01-22 09:35:27

Hadoop 新 MapReduce 框架 Yarn 详解

本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文中新旧 hadoop map-reduce 框架的对比，更能深刻理解新的 yarn 框架的技术原理和设计思想，文中的 Demo 代码经过微小修改即可用于用户基于 hadoop 新框架的实际生产环境。

2013-01-21 13:22:56

高负载低延迟：我们用的是Hadoop+AWS+NoSQL

使用信用卡进行支付的款项是巨大的，但是很明显，通过分析所有的交易，我们也可以从数据中得到内在的价值。比如客户忠诚度、人口统计数据、活动的受欢迎程度、商店的建议和许多其他的统计数据，这对商家和银行来说都是非常有用的，可以改进他们与市场的联系。

2013-01-18 09:36:51

Voldemort Hadoop AWS

Apache Hadoop最佳实践和反模式解析

本文总结了一些Hadoop应用的最佳实践。实际上，类似于设计模式，我们引进一个网格模式的的概念，来提供一个通用且可复用的针对运行在网格上的应用的解决方案。

2013-01-16 14:45:47

Hadoop Apache Hado

Hadoop、OpenStack上榜2012年十大最成功开源项目

海量数据(Big Data)革命掀起的浪潮，带动了数据分析行业的增长，要在网路上处理这种规模的资料，目前比较经常被使用的平台就是Hadoop，而Facebook就是使用Hadoop下的HBase资料库。

2013-01-16 09:43:55

开源 Hadoop OpenStack

分布式文件系统HDFS中的Federation

HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。

2013-01-09 10:16:09

HDFS中的Namenode和Datanode

大数据中，HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。Namenode管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。

2013-01-08 10:01:56

为什么我们应该杀死“大数据”？

本文作者Leena Rao，为TechCrunch资深编辑。大数据在今年是很火的一个概念，这个概念不同的人有不同的见解。然而我们对大数据的关注是不是有点偏离了正常的轨道呢？现在许多的讨论都是围绕着“大数据”这个词来展开，人们似乎忘记了大数据是要为我们解决实际问题的，我们更应该讨论贴近实用的方面。

2013-01-07 11:31:11

大数据大数据应用

分布式文件系统HDFS中Block介绍

Block是一块磁盘当中最小的单位，HDFS中的Block是一个很大的单元。在HDFS中的文件将会按块大小进行分解，并作为独立的单元进行存储。

2013-01-07 10:42:43

分布式文件系统HDFS设计

我们都知道，Hadoop除了计算部分Mapreduce外，还有一个分布式文件系统HDFS，全称Hadoop Distributed Filesystem。今天我们将介绍一下他的设计问题。

2013-01-07 10:29:31

惠普企业数据仓库一体机应对海量数据

惠普企业数据仓库一体机(Enterprise Data Warehouse Appliance，EDW)就是这样一种解决方案。它将HP服务器和微软Windows Server 2008和SQL Server Parallel Data Warehouse(PDWAU3.5)整合在一起。如果你正在寻找一个快速无痛的实现方案，这个一体机能够证明是一个理想的解决方案。

2013-01-06 11:11:06

惠普数据仓库一体机

大数据分析的三个技巧

大数据分析是将数据转化成有用信息的重要步骤。随着大数据在驱动企业成功中越来越有决定性作用，数据分析也变得越来越受欢迎。

2013-01-06 11:01:59

大数据分析

大数据的未来是App 而非基础架构

本文作者Justin LaFayette，为我们解读他眼中大数据的未来。

2013-01-06 10:18:58

大数据大数据的未来

大数据的两点常见误解

一谈到大数据，大家都是赞扬声一片。高效、能预测未来走势。但任何技术都有其局限性，今天我们就来谈两点常见误解。

2013-01-05 14:25:27

Hadoop实例：二度人脉与好友推荐

在新浪微博、人人网等社交网站上，为了使用户在网络上认识更多的朋友，社交网站往往提供类似“你可能感兴趣的人”、“间接关注推荐”等好友推荐的功能。一直很好奇这个功能是怎么实现的。

2013-01-05 02:37:30

Hadoop Hadoop实例

MySQL数据库查询优化

总体上来说，对数据库查询的优化，我们采取了一些常规的优化之后，如果还没有取得想要的效果，我们有时候不必硬碰硬去优化查询本身，改变一下使用模式，找找业务处理流程是否还有可修改的，说不定就轻松解决了存在的难题。

2013-01-04 10:00:12

MySQL 数据库数据库查询优化

大数据误区：不是所有公司都需要大数据

2012年“大数据”的发展如火如荼，然而本文的作者，数据分析公司SiSense副总裁BrunoAziza却认为并不是每个人都需要大数据。

2012-12-31 10:25:52

Exadata X3闪存提升4倍 In-Memory进入主流

到 2015 年，65% 部署在私有云环境中的服务器将成为一体机。IDC认为一体机提供一种标准化架构，该架构可通过预配置和优化处理多重工作负，其卓越的建筑模块可减少部署时间，并增加不动产的投资回报。

2012-12-27 09:52:28

数据库云服务器 Exadata X3 内存计算

Facebook数据科学家要具备的六大技能

数据科学家到底应该具备哪些技能？对于这个新兴职业的定位和展望，我们也许Facebook的招聘说明中找到答案。

2012-12-27 09:50:36

数据科学家正在崛起

2012年美国大选成就了一批大数据技术人员，也拉开了数据科学家们崛起的大幕。数据科学家们，都与具体的行业紧密相联，有扎实的统计基础，也有丰富的行业经验。

2012-12-26 10:51:20

数据科学家

数据科学家不用太多应该让大数据更好用

大数据时代已经来临，因此数据科学家曾被冠以最性感职业之称。可是电子商务咨询公司Baynote创始人兼CTO Scott Brave 却说我们不需要更多的数据科学家，让大数据更方便使用就够了。

2012-12-25 09:58:50

数据科学家大数据

坐看大数据之道：51CTO专访大数据专家郑玮原创

大数据的概念日趋火热,究竟国外的大数据技术是怎样的发展情况?对国内技术人员有什么借鉴作用?51CTO本次将专访大数据方面的专家郑玮女士。请她为我们讲述大数据之道。

2012-12-24 09:01:35

解读微软大数据原创

“微软针对关系型数据、非关系型数据和数据流的管理，第一步是打造一个平台，在这个平台下，各种类型的数据都可以进来集中整合。第二步是提供一个工具，让所有的数据可以进行清理和分析。”

2012-12-20 13:02:20

大数据 Hadoop 内存计算

没有数据驱动的流程和产品大数据将毫无价值

在当下的IT业界，大数据并不少见。哪怕你只是一家小型创业公司，一天下来你可能就拿到了几个 G 的数据，而 Instagram 一天产生的数据则高达 500 个 T。坐在不断增加的数据上的你，挠着头苦想：“大数据我是有了，要怎么利用它们？”

2012-12-18 16:09:01

Google Dremel vs. Apache Hadoop

Google Dremel是个可扩展的、交互式的即时查询系统，专注于只读嵌套(nested)数据的分析。通过集合不同层次的执行树和柱状的数据布局，他能够在几秒内完成在万亿张表上的聚合查询。系统可以扩展到成千上万的CPU上，满足Google上万用户操作PB及的数据。

2012-12-17 10:01:27

Google Drem Apache Hado 云计算

紧随AWS数据仓库服务Rackspace力鼎Cloudant

2012年12月13日，Rackspace宣布自己也完全具备数据库托管和管理的能力，矛头直指亚马逊数据仓库服务Redshift。Cloudant公司推出的基于NoSQL的数据库服务(DBaaS)今天已经在Rackspace的云端开始运行，这说明Rackspace已经为用户提供了这套数据库工具，并且支持很多在云端托管的数据库平台。

2012-12-17 09:57:25

AWS数据仓库服务 Rackspace Cloudant

微软数据仓库一体机国内首单花落国家审计总署

自云计算和大数据概念被提出后，针对该市场应运而生的解决方案层出不穷，软硬件一体化设备作为大数据解决方案中的一员，扮演着重要的角色。微软并行数据仓库一体机，将多种先进的数据存储与处理技术结合为一体，是微软大数据战略的重要组成部分。

2012-12-16 20:40:16

数据仓库一体机大数据

微软数据库一体机升级新技术架构满足大数据挑战原创

在技术门槛较高的大数据领域，有着传统优势的厂商是否能够依然占据主流，加速推动资源的整合、优化，提出端到端的一体化解决方案正变的尤为重要。

2012-12-16 16:50:52

数据库一体机 PDW 云计算

急性子的开源大数据，第 1 部分: Hadoop 教程

本文的重点是解释大数据，然后在 Hadoop 中提供简单的工作示例，Hadoop 是在大数据领域的主要开源选手。您会很高兴地听到，Hadoop 并不是 Informix® 或 DB2® 的替代品，但事实上与现有的基础架构配合得很好。Hadoop 家族有多个组件，本文将深入探讨演示各功能的具体代码示例。如果您在自己的 PC 上尝试这些示例，是不会造成系统混乱的。

2012-12-13 11:06:31

AWS数据仓库服务Redshift是最好的选择吗？

Amazon近日刚刚发布了Redshift，这是一个基于云计算的数据仓库服务，Amazon也想以此与IBM、Microsoft和Oracle等IT巨头一较高低，虽然Redshift的使用成本仅仅只有市场价格的十分之一左右，但是对数据仓库来说，云计算是数据仓库的栖身之所吗？

2012-12-12 09:59:00

Redshift 数据仓库 JeffKelly

商业智能、政府管理及公共服务是中国大数据的应用重点

浪潮集团系统软件总监、云计算产品研发部总经理张东在浪潮集团大数据战略发布暨云海大数据一体机产品发布会上，指出：商业智能、政府管理及公共服务是中国大数据产业的重点应用领域。

2012-12-06 16:13:57

云海大数据一体机

让大数据成为我们捕捉网络安全威胁的眼睛译文

数据爆炸式增长已经成为我们无法回避的现实，而大数据分析技术则应当成为我们迎接挑战的有利武器。但除了日常管理之外，大数据是否也能帮助我们抵御企业黑客的觊觎？就这一话题，我们与Seculert公司创始人展开了探讨。

2012-12-06 13:25:36

Hadoop云服务之战：微软vs.亚马逊

Hadoop逐渐普及的背后主要的驱动力在于大数据和社交计算的炒作，广泛的企业级开源软件应用，拥有Hadoop熟练技能的开发人员资源池以及Hadoop可以用预期达成的性能以低廉的商业服务器集群成本交付高可用性。后面的这个性能让企业能够将Hadoop工作负载部署到IaaS和PaaS提供商的云上，代替数据中心资本投资中的几次付费费用。

2012-12-04 10:54:21

Hadoop 云服务微软

上一页 1 ··· 171 172 173 174 175 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营