鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9056内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9056 条

硬件提速英特尔推Hadoop一体化方案

英特尔架构事业部和数据中心软件事业部副总裁和总经理Boyd Davis表示，英特尔将会充分挖掘Hadoop以给广大用户带来巨大利益。Hadoop可以成为多种不同应用的平台，而且英特尔也将以服务支持的角色来推动开源向前迈进。

2013-03-18 10:16:35

英特尔 Hadoop 一体化

英特尔重定义Hadoop核心：优化CPU 原创

继Cloudera与Hortonworks之后，英特尔近日宣布推出Hadoop新版本，包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner，这是英特尔从2009年开始投入大数据研究以来，首度发布的大数据软件产品，英特尔将以开源分布式数据分析平台Hadoop进军大数据市场

2013-03-15 17:37:33

Hadoop 英特尔 CPU

提速25%！Hadoop助英特尔研发周期缩短

通过这种Hadoop新平台来收集生产过程中的历史数据，并结合没经过使用的其他来源信息，在英特尔的一个五人组成的部门工作下即可帮助减少300万美金，当然，这还仅仅是去年英特尔酷睿处理器检测过程中的成本节省。

2013-03-13 11:41:12

Hadoop 英特尔研发周期

基于Hadoop云盘系统3：小文件存储优化

首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难。

2013-03-11 14:42:08

Teradata入选商业智能及信息管理咨询全球企业榜单

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，Teradata及其Claraview业务部门荣获Gartner公司2013年度《北美地区商业智能和信息管理市场分析报告》中针对咨询和系统集成服务供应商的”正”(positive)评级。该报告为北美地区正在或已经部署商业智能(BI)和信息管理(IM)产品或服务的用户提供明确指南，涵盖数据仓库、商业智能和数据分析市场指南。

2013-03-11 13:18:27

Teradata 商业智能天睿

基于Hadoop云盘系统2：HDFS文件访问控制

Hadoop开源技术框架在实际业务应用中，其早期的安全机制饱受诟病，具体到HDFS应用方面的问题，包括：用户到服务器的认证问题、服务器到服务器的认证信息。

2013-03-08 10:09:30

应需而变融易致远华为Hadoop大数据解决方案

人人都在谈论大数据,但是究竟什么是大数据呢?大数据主要来源于互联网领域和一些垂直行业，数据量达到PB级，甚至10PB以上;它需要更高性能、更大吞吐量、更大扩展能力.据统计，全球80%的数据在近两年生成，平均年增长率超过50%。

2013-03-07 18:28:11

华为 Hadoop 大数据

基于Hadoop云盘系统1：上传和下载效率优化

基于任何平台实现的云盘系统，面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统，受到Hadoop文件读写机制的影响，采用Hadoop提供的API进行HDFS文件系统访问，文件读取时默认是顺序、逐block读取；写入时是顺序写入。

2013-03-07 14:47:14

英特尔：将Hadoop“固化”到Xeon中

对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

2013-03-07 10:56:03

英特尔 Hadoop Xeon

Hadoop生态系统地图：大象王国的八大族群

为了帮助企业和业界的大数据技术和应用的实践者快速理清Hadoop生态系统的头绪，GigaOM最近制作了一张Hadoop生态系统地图，按照不同的应用场景和交付模式，将Hadoop生态系统的厂商和产品划分为六大层面和八类玩家。

2013-03-07 10:05:53

Hadoop 大数据

如何在Linux上安装与配置Hadoop？

Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此本文主要讲解如何在Linux上安装与配置Hadoop。

2013-03-06 13:27:03

Teradata再获数据仓库数据库管理系统魔力象限领导者

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，Teradata天睿公司连续第14年入选Gartner公司2013年度《数据仓库数据库管理系统魔力象限》(Magic Quadrant for Data Warehouse Database Management Systems)的“领导者象限”。这一殊荣无疑是对Teradata卓越的产品创新能力和最佳实践的权威认可。

2013-03-05 10:13:10

Teradata 大数据天睿

大数据发展简史

在研究《数据科学发展简史》之外，我也比较关注大数据是如何产生的。在这里，我着重探讨那段尝试确定数据量增长速度的历史，或者将其称之为众所周知的“数据爆炸”（据牛津英语辞典记载，这一术语首次使用于1941年）。

2013-03-04 15:04:16

Twitter程序员推动Hadoop开发进程

由于Twitter的数百万用户能够彼此间实时分享最新新闻、想法、意见，Twitter成为了目前最受欢迎的通信平台。所有这些活动都为Twitter带来了海量的元数据，而这些元数据对于Twitter来说是一笔宝贵财富。

2013-03-01 09:39:53

Hadoop Twitter 大数据

[爆料]英特尔：将Hadoop“固化”到Xeon中

对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

2013-02-28 10:32:07

hadoop 英特尔 apache

英特尔Hadoop应对大数据“芯” 应用

英特尔加强为数据中心提供了一个框架，可以连接和管理设备并实现一个可扩展的方式，Hadoop架构具有巨大的潜力，可以做为硬件基础层存在，并在此之上构建可以实现水平分布的各式各样的堆栈。

2013-02-28 10:04:27

英特尔 Hadoop 大数据

揭露云数据分析商业智能价值

“大数据”的宽松定义是过大而不能用传统数据管理技术和基础架构处理的数据集。详细的服务器日志、点击流数据、社交网络数据和移动设备数据都是数据仓库中和商业智能系统中交易型数据类型的补充。此外，公有云数据存储库和第三方加速器也提供了大数据集话题，从Twitter流和Meetup博文到经济和人口普查数据。

2013-02-28 09:59:55

云数据分析大数据分析 Hadoop应用

看大数据时代的用户隐私

大数据时代全局数据分析的的这种特质，让用户隐私保护几乎是一个伪命题。互联网时代我们都清楚我们在网络上的一切行为都可以被服务方知晓。

2013-02-27 10:56:39

在Hadoop上运行SQL：程序员需知晓的13种数据工具

其实，对SQL支持并不是Hadoop的最终目标，但是这一特性将会帮助Hadoop找寻自己的生存方式，让Hadoop在那些已经明白下一代分析的重要性但又不想迈向MapReduce专家之路的公司中取得一席之地。

2013-02-27 10:36:36

rackspace google GCE

NoSQL数据库的35个应用场景

当纵览一些不用的数据模型和产品的时候，综合考虑数据模型、产品特性和应用情景。不同产品功能各异，只凭数据模型来决定选择谁是不可能的。

2013-02-27 10:23:55

NoSQL 数据库

英特尔：相同的大数据不同的Hadoop

全球的数据使用量到2020将将会增长44倍，达到35.2ZB(1ZB=10亿TB)。Facebook、Twitter、微博等各种社交平台的海量数据，以及视频通讯、医疗影像、地理信息和监控录像等视频内容也会极具增加，加之传感器、RFID阅读器、导航终端等非传统IT设备和移动设备，都将产生越来越多的数据。增加的这些数据当中，有80%的数据属于非结构化。

2013-02-27 10:19:35

英特尔大数据 Hadoop

大数据平民化：Hortonworks推出Windows版Hadoop

本周一，在与微软合作一年后，Hortonworks终于发布了Windows版Hortonworks 大数据平台(Hortonworks Data Platform)，目前已经开放下载，通用版本预计将在今年第二季度完成。这标志着Hortonworks发布的Hadoop商业发行版本将能同时运行在Linux和Windows两大平台。

2013-02-26 09:40:00

Hortonworks Windows Hadoop

SQL Server数据挖掘规则实现商品推荐1

假如你有一个购物类的网站，那么你如何给你的客户来推荐产品呢？这个功能在很多电商类网站都有，那么，通过SQL Server Analysis Services的数据挖掘功能，你也可以轻松的来构建类似的功能。

2013-02-25 10:33:36

Red Hat开源其Hadoop存储系统

Red Hat本周三宣布开源其Red Hat Storage Hadoop插件，作为HDFS的替代产品。RedHat Storage hadoop插件基于Gluster文件系统。

2013-02-22 11:07:36

Red Hat 开源 Hadoop

企业大数据如何起步：从小数据到大数据

前国内外关于大数据的谈论很多，大多是谈运营级别的，或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说，大数据跟他们有什么关系，或者说作为企业方怎样去参与，这是企业方现在面临的最大问题。

2013-02-21 16:36:09

初创公司Citus Data将CitusDB扩展到Hadoop

大数据已经打开了企业数据分析以及选择性数据存储的视野。那么这两项的结合往往意味着需要学习新的语言，使用多工具处理，而且在分析平台上还可能需要牺牲一部分性能。

2013-02-21 09:41:49

CitusData 数据库 Postgres

“夫妻档”初创公司百万美元打造实时Hadoop系统

如果问及任何Hadoop的有关人士， Hadoop如何超越目前的批量处理平台，那么“实时”无疑是其中最主要的一个答案。事实上，这也是下个月“ Structure: Data”的一个讨论主题，企业希望Hadoop成为一个可操作的数据库以及具有各种类型的OLAP引擎。

2013-02-20 09:51:17

HStreaming JanaUhlig 初创公司

Informatica牵手亚马逊Redshift 改变数据仓库的经济性

全球独立企业数据集成软件提供商Informatica，近日宣布了“用于Amazon Redshift的Informatica云连接器”(Informatica Cloud Connector for Amazon Redshift)，作为基于云数据仓库的服务，它是一个可直接连接到Amazon Web Service(AWS)的云数据集成解决方案。在云分析的基础之上，Informatica这个新型产品可为小型及大型机构提供一个可行和极具经济效益的选择，旨在改变数据仓库的经济性。

2013-02-19 15:33:25

Informatica 数据仓库 Amazon Reds

英特尔大数据智慧：Apache Hadoop更优性能

英特尔与 Apache Hadoop 社区开展协作，支持系统管理员尽可能地实现其 Apache Hadoop 集群的最高性能——同时保证复杂度处于最低限度。英特尔开发了 HiTune 性能分析器和 HiBench 基准测试套件，用它们来降低 Apache Hadoop 性能调优的复杂性，用户可以在更短的时间内更有信心地设计和实现 Apache Hadoop 解决方案。

2013-02-18 15:15:32

英特尔大数据 Apache

使用大数据做出更明智业务决策

大数据咨询公司NewVantage Partners在近期公布的报告中指出，尤其是金融服务公司这类大型公司正在快速采用大数据，并且这一速度比预期的要快。这些公司是如何利用大数据做出更明智的业务决策的呢?

2013-02-18 11:16:10

华为通过微软2012 Fast Track数据仓库认证

华为今天宣布成为中国首家通过微软SQL Server 2012 Fast Track数据仓库认证的厂家，华为Tecal RH2288 V2成为基于SSD加速卡的SQL Server Fast Track认证服务器。

2013-02-01 12:42:58

华为微软数据库

Apache Hadoop集群的安全性架构

虽然基于现有的基础设施或定制的内部监控程序不同，使用的工具也可能有所不同。但是对于依靠Hadoop业务运营的公司来说，部署必不可少的“警卫”和检查，进而来保护Hadoop节点的安全性都是至关重要的。以下的10个组件应该作为部署Apache Hadoop安全性架构的讨论指南。

2013-01-29 10:20:06

MapReduce Hadoop 架构

小白学数据分析：留存率分析

最近在做留存分析时，遇到了不少的情况，也经常会有人问我，为什么我的游戏突然次日留存率降了一半。如果留存率是单单作为一个简单的指标的话，那对你价值还是蛮有限的，今天就和大家说说一个case，这是不久前解决掉的问题，相信会帮助不少人。OK，这也将作为留存率分析的第一篇文章，后续在和各位分享。

2013-01-29 09:57:23

2015年65%高级分析产品将嵌入Hadoop

尽管在2012年部署Hadoop系统需要特殊技巧，但是，机构认识到Hadoop驱动的分析给大数据程序带来的实力。这对于分析糟糕的结构化数据、文本、行为分析和基于时间的查询更是如此。虽然IT机构在过去几年里进行了测试，特别是使用具有Hadoop功能的数据库管理系统产品和设备进行了测试，但是，应用提供商将更进一步，在打包的应用中嵌入专用的、基于Hadoop的分析功能。

2013-01-29 09:16:43

分析 Hadoop 大数据

Joyent和SkyTap分别推出云Hadoop服务

这是厂商通过推出最新技术使自己的产品差异化的最新举措，也是提高大数据分析云应用的最新举措。在这种应用中，实际上有无限的资源根据按使用付费的定价模式向用户提供。

2013-01-25 11:09:29

大数据 Hadoop集群云Hadoop服务

Gartner和Ovum看淡“大数据”热潮

在2012年，“大数据”和行业发展趋势度过了“得意”的一年，但根据分析公司Ovum和Gartner表示，这股热潮很快就会淡出人们的视线。

2013-01-25 10:14:24

Gartner 大数据

Hadoop：为什么RAID-0不行？

RAID-0又称为Stripe或Striping，其原理是把连续的数据分散到多个磁盘上存取，这样，系统有数据请求就可以被多个磁盘并行的执行，每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽，显著提高磁盘整体存取性能。多年应用下来，RAID-0优势很明显。

2013-01-22 09:35:27

Hadoop 新 MapReduce 框架 Yarn 详解

本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文中新旧 hadoop map-reduce 框架的对比，更能深刻理解新的 yarn 框架的技术原理和设计思想，文中的 Demo 代码经过微小修改即可用于用户基于 hadoop 新框架的实际生产环境。

2013-01-21 13:22:56

高负载低延迟：我们用的是Hadoop+AWS+NoSQL

使用信用卡进行支付的款项是巨大的，但是很明显，通过分析所有的交易，我们也可以从数据中得到内在的价值。比如客户忠诚度、人口统计数据、活动的受欢迎程度、商店的建议和许多其他的统计数据，这对商家和银行来说都是非常有用的，可以改进他们与市场的联系。

2013-01-18 09:36:51

Voldemort Hadoop AWS

Apache Hadoop最佳实践和反模式解析

本文总结了一些Hadoop应用的最佳实践。实际上，类似于设计模式，我们引进一个网格模式的的概念，来提供一个通用且可复用的针对运行在网格上的应用的解决方案。

2013-01-16 14:45:47

Hadoop Apache Hado

Hadoop、OpenStack上榜2012年十大最成功开源项目

海量数据(Big Data)革命掀起的浪潮，带动了数据分析行业的增长，要在网路上处理这种规模的资料，目前比较经常被使用的平台就是Hadoop，而Facebook就是使用Hadoop下的HBase资料库。

2013-01-16 09:43:55

开源 Hadoop OpenStack

分布式文件系统HDFS中的Federation

HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。

2013-01-09 10:16:09

HDFS中的Namenode和Datanode

大数据中，HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。Namenode管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。

2013-01-08 10:01:56

为什么我们应该杀死“大数据”？

本文作者Leena Rao，为TechCrunch资深编辑。大数据在今年是很火的一个概念，这个概念不同的人有不同的见解。然而我们对大数据的关注是不是有点偏离了正常的轨道呢？现在许多的讨论都是围绕着“大数据”这个词来展开，人们似乎忘记了大数据是要为我们解决实际问题的，我们更应该讨论贴近实用的方面。

2013-01-07 11:31:11

大数据大数据应用

分布式文件系统HDFS中Block介绍

Block是一块磁盘当中最小的单位，HDFS中的Block是一个很大的单元。在HDFS中的文件将会按块大小进行分解，并作为独立的单元进行存储。

2013-01-07 10:42:43

分布式文件系统HDFS设计

我们都知道，Hadoop除了计算部分Mapreduce外，还有一个分布式文件系统HDFS，全称Hadoop Distributed Filesystem。今天我们将介绍一下他的设计问题。

2013-01-07 10:29:31

惠普企业数据仓库一体机应对海量数据

惠普企业数据仓库一体机(Enterprise Data Warehouse Appliance，EDW)就是这样一种解决方案。它将HP服务器和微软Windows Server 2008和SQL Server Parallel Data Warehouse(PDWAU3.5)整合在一起。如果你正在寻找一个快速无痛的实现方案，这个一体机能够证明是一个理想的解决方案。

2013-01-06 11:11:06

惠普数据仓库一体机

大数据分析的三个技巧

大数据分析是将数据转化成有用信息的重要步骤。随着大数据在驱动企业成功中越来越有决定性作用，数据分析也变得越来越受欢迎。

2013-01-06 11:01:59

大数据分析

大数据的未来是App 而非基础架构

本文作者Justin LaFayette，为我们解读他眼中大数据的未来。

2013-01-06 10:18:58

大数据大数据的未来

大数据的两点常见误解

一谈到大数据，大家都是赞扬声一片。高效、能预测未来走势。但任何技术都有其局限性，今天我们就来谈两点常见误解。

2013-01-05 14:25:27

上一页 1 ··· 170 171 172 173 174 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营