鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9088内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9088 条

Spark实战：单节点本地模式搭建Spark运行环境

Spark与Hadoop一样，是一种开源的集群计算环境，但在特定工作负载情况下比Hadoop更高效。Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。下面作者将通过单节点本地模式搭建Spark运行环境

2014-09-16 10:13:27

Spark 搭建环境

Teradata收购Think Big Analytics 加速提升Hadoop和大数据咨询业务能力

全球数据分析平台、应用和服务供应商Teradata天睿公司宣布收购Think Big Analytics公司。Think Big 是一家领先的咨询服务与解决方案公司，专注于开发Hadoop和大数据解决方案，其广受认可的Hadoop和大数据咨询服务方法和能力，可帮助企业成功部署大数据解决方案。

2014-09-10 15:49:05

星环：如何构建企业级Hadoop/Spark分析平台

进入2014年以后，Spark开源生态系统得到了大幅增长，已成为大数据领域最活跃的开源项目之一。Spark之所以吸引如此多的关注，究其原因主要是因为Spark具有的高性能、高灵活性、与Hadoop生态系统完美融合等三方面的特征。

2014-09-09 14:10:01

企业级 Hadoop Spark

大数据技术如何才能发挥最佳状态译文

很多人都误以为在大数据解决方案中，处理对象的规模总是越大越好。事实上，人们往往会从不同的立场出发，对“越大越好”这一命题给出自己的答案，而我汇总出了几下几种典型情况……

2014-09-09 10:56:24

Hadoop伪分布配置与基于Eclipse开发环境搭建

最近一直在摸索Hadoop2的配置，因为Hadoop2对原有的一些框架API做了调整，但也还是兼容旧版本的（包括配置）。像我这种就喜欢用新的东西的人，当然要尝一下鲜了，现在网上比较少新版本的配置教程，那么下面我就来分享一下我自己的实战经验，如有不正确的地欢迎指正。

2014-09-04 09:35:17

Hadoop 伪分布配置

Hadoop的梦想与现实

可以说，Hadoop的出现是计算技术发展进程中一个重要的里程碑，它使实用的大规模分布式计算和存储成为可能。因此，有专家评论，Hadoop是到目前为止最为成功的通用分布式处理框架，也是这些年来影响最为深远的系统性开源项目之一。

2014-08-27 09:51:13

图数据挖掘及典型实现浅析

互联网发展至今，数据规模越来越大，数据结构越来越复杂，而且对系统的需求越来越高。如果学习过数据结构，那么都知道图是放在最后一个结构，当你学习了图，那么应该感知到前面的链表，队列，树都是在图上面加了一些约束而派生出来的结构。

2014-08-26 09:40:54

图数据数据挖掘

大数据Hadoop技术在银行的七个应用实例

如今，Hadoop几乎存在于各个方面，其通过利用大数据来分析信息和增加竞争力。许多金融机构和公司已经开始使用Hadoop成功地解决问题，即便他们本没有计划这样做。因为如果他们不这样做，就会面临市场份额损失的巨大风险。以下是一些特别有趣和重要的大数据和Hadoop用例。

2014-08-25 10:24:02

大数据弹性应用开发的八项基本原则

大数据应用正在从概念走向现实，而企业在大数据应用开发时，软件的弹性（Resilient）正在成为决定大数据应用成败的关键因素。弹性差的应用无法应对大规模的数据集，在测试和运营中也缺乏透明度，而且也不安全。

2014-08-25 09:08:23

大数据应用开发

专访梁宇明：Hulu的Spark On YARN之路原创

Hulu，因为尚未进入中国，知道它的人远不如知道YouTube和优酷、土豆。而在美国，Hulu已经将Google Video挤出局成为全美排名第10的视频网站。今天，来自Hulu，负责大数据团队基础架构开发的梁宇明老师，将为我们分享Hulu的Spark On YARN之路。

2014-08-25 09:03:44

Hulu Spark On Y

数据可视化效果若干经验与资料分享

文章通过介绍Visualization 即可视化，罗列了数据的展现方式。对于数据分析最困难的一部分就是数据的展示，解读数据之间的关系，清晰有效的传达并且沟通数据信息。

2014-08-19 10:47:11

数据可视化大数据

Teradata助力欧迪办公扩展企业级数据仓库

全球数据分析平台、应用和服务供应商Teradata天睿公司宣布，通过部署Teradata最新数据平台和创新技术，助力欧迪办公（Office Depot）扩展企业级数据仓库（EDW）。欧迪办公已开设2,000多家零售店，是全球领先的办公产品、服务和解决方案供应商。

2014-08-18 09:01:09

Teradata 数据仓库

R绘制中国地图，并展示流行病学数据

流行病学的数据讲究“三间分布”，即人群分布、时间分布和空间分布。其中的“空间分布”最好是在地图上展示，才比较清楚。R软件集统计分析与高级绘图于大成，是最适合做这项工作了。关于地图的绘制过程，谢益辉、邱怡轩和陈丽云等人都早有文章讲述，开R地图中文教程之先河。

2014-08-15 11:18:47

R语言 R绘制地图

一个数据挖掘大牛，用程序算法做人生选择

我深深地发现，对于我国这样从小被父母和老师安排各种事情长大的人，当有一天，父母和老师都跟不上的时候，我们几乎完全不知道怎么去做选择。而我最近也离开了亚马逊，换了一个工作，让我想到写一篇这样的文章。

2014-08-15 10:29:18

数据挖掘人生选择

MariaDB: 选择性二进制日志事件

默认情况下使用MySQL标准复制功能时，所有事件都记录在二进制日志中，并复制到所有从机(可以过滤掉一些模式)。但使用此特性，可以在从机上跳过一些事件的复制，即使这些事件是被写入到二进制日志中的。

2014-08-06 10:10:52

MariaDB 二进制日志

hadoop Shell命令详解

调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数……

2014-08-06 09:57:15

hadoop Shel Shell命令

大数据时代：要知道what 不是why

当我们知道了大数据的特性，也找到了相关性，接下来就是靠着它创造出价值来。“什么是大数据？”、“跟我有什么关系？”很多人第一次听到大数据，心中一定会有这样的疑问……

2014-08-05 09:47:03

十种程序语言帮你读懂大数据的“秘密”

随着大数据的热潮不断升温，几乎各个领域都有洪水倾泻般的信息涌来，面对用户成千上万的浏览记录、记录行为数据，如果就单纯的Excel来进行数据处理是远远不能满足的……

2014-08-01 10:39:52

大数据程序语言

深层数据：推动大数据成功的关键所在译文

所谓的‘深层数据’其实是相关领域多种专业性知识储备的综合体——对于我们来说，也就是能源行业与数据科学的结合——旨在帮助技术人员从宏观规模角度对建筑的能源使用情况作出分析……

2014-07-31 11:32:55

大数据深层数据

数据科学家大调查：职业受挫数据多样性，吐槽Hadoop

根据报告，有59%的数据科学家表示其所在企业已经开始采用更加复杂的分析技术，例如集群、机器学习、种量分析（Principal components analysis）、图论分析等高级分析技术分析数据，而不是局限于传统的BI报告……

2014-07-31 10:06:10

大数据 Hadoop

大数据应用程序最佳选择：SQL还是NoSQL

执行大数据[注]项目的企业面对的关键决策之一是使用哪个数据库，SQL还是NoSQL?SQL有着骄人的业绩，庞大的安装基础;而NoSQL正在获得可观的收益，且有很多支持者。我们来看看两位专家对这个问题的看法。

2014-07-30 10:29:13

大数据 NoSQL

浅谈大数据之Hadoop部署前的思考

在Hadoop出现后，对于数据的发掘更是体现的淋漓尽致，面对如此诱惑，很多传统的企业用户都想参考互联网企业的做法，非常快速的部署Hadoop，从而快速整合和发掘既有数据的价值。但现实情况却正应了”理想很丰满，现实太骨感“那句网络流行语，想快速部署Hadoop，却没那么容易。为什么会出现这样的问题呢？

2014-07-29 10:38:25

大数据 Hadoop

Hive已为Hadoop带来实时查询机制译文

Hive是一种“类SQL”查询语言，它对大规模数据集处理速度的显著提升使其成为企业级数据仓库的最佳合作伙伴。

2014-07-29 09:19:07

赵修湘：关系型数据库替代者-Hive数据仓库

Hadoop是一款运行在廉价商用服务器之上的，能够对大量数据进行有效存储和处理的软件框架，主要由HDFS分布式文件系统和Mapreduce计算框架组成，而Hive分布式数据仓库构建于hadoop的hdfs和mapred之上，用于管理和查询结构化/非结构化数据的数据仓库。

2014-07-26 15:22:31

赵修湘关系型数据库 Hive数据仓库

Databricks连城：Spark打造一体化大数据流水线

连城老师目前专注于以Spark为主的大数据分析系统，Spark SQL为Spark提供了原生的SQL关系查询能力，并进一步增强了Spark操纵结构化数据的能力。演讲伊始，连城率先分享了当今大数据的问题以及数据分析流程，通常的做法是在hadoop之上刻画框架。因此所有流程是基于HDFS，所得到的是有效的数据处理结果占比全部数据处理的比例并不高。

2014-07-26 14:44:01

Databricks 连城 Spark

Apache Spark源码走读之3：Task运行期之函数调用

本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。

2014-07-23 10:02:11

Web安全扫描器Netsparker v3.5发布

Netsparker是一款综合型的web应用安全漏洞扫描工具，它分为专业版和免费版，免费版的功能也比较强大。Netsparker与其他综合性的web应用安全扫描工具相比的一个特点是它能够更好的检测SQL Injection和Cross-site Scripting类型的安全漏洞。

2014-07-22 10:13:26

Netsparker 漏洞扫描工具漏洞扫描

思路总结：对微博情感分析的的挖掘

一朋友由于工作需要，准备对新浪微博进行相关的抓取挖掘。特别是情感分析这一块，便于他后期的实验实践。实际上，文本挖掘及分析在未来都会产生较大的效果。

2014-07-18 09:51:05

挖掘数据分析

Spark1.0.0部署指南

今天要给大家讲述Spark1.0.0部署的过程。Spark常用的安装部署模式有Spark On Yarn和Standalone，可以同时使用。

2014-07-17 14:09:31

详细解析 hadoop 分布式部署

对于 Hadoop 来说,在 HDFS 看来,节点分为 Namenode 和 Datanode,其中Namenode 只有一个, Datanode 可以是很多;在 MapReduce 看来,节点又分为Jobtracker 和 Tasktracker,其中 Jobtracker 只有一个,Tasktracker 可以是很多。我是将 namenode 和 jobtracker 部署在 hadoop1 上, hadoop2, hadoop3 作为 datanode和 tasktracker 。

2014-07-15 11:15:44

hadoop 分布式部署

Apache Spark源码走读：如何进行代码跟读

今天不谈Spark中什么复杂的技术实现，只稍为聊聊如何进行代码跟读。众所周知，Spark使用scala进行开发，由于scala有众多的语法糖，很多时候代码跟着跟着就觉着线索跟丢掉了，另外Spark基于Akka来进行消息交互，那如何知道谁是接收方呢？

2014-07-15 10:59:58

Spark 代码跟读

Hadoop局限性与数据多样性令数据科学家抓狂译文

一份面向数据科学家的调查报告发现，大部分相关从业人士认为随着需要处理的数据源各类与数量的快速增长、其工作的进展难度也在持续攀升。此外，接近四分之一的受访者表示Hadoop无法满足他们在分析执行能力方面的实际需求。

2014-07-08 09:14:54

Hadoop局限性

Apache Spark源码走读之2：Job的提交与运行

本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。

2014-07-04 10:58:47

巧用云平台简化Spark集群与大数据部署译文

在本届Spark 2014峰会上，Databricks公司CEO Ion Stoica在主题演讲中公布了Databricks云——这是一套针对内存内集群计算的交钥匙平台，承诺以Hadoop MapReduce为基础给大数据处理任务带来显著性能提升。

2014-07-04 10:01:08

通过添加一些gems来提升Rails应用的性能

使用Rails一段时间之后，你可能就会开始吹毛求疵的想要提高它性能。这是一系列文章中第一次考虑如何提高（即使微不足道的）Rails的性能。

2014-07-04 09:58:15

Apache Spark源码走读之1:论文阅读笔记

源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Matei Zaharia做的Spark论文是一个非常不错的选择。在阅读该论文的基础之上，再结合Spark作者在2012 Developer Meetup上做的演讲Introduction to Spark Internals，那么对于Spark的内部实现会有一个比较大概的了解。有了上述的两篇文章奠定基础之后，再来进行源码阅读，

2014-07-03 15:40:09

VMware张振伦：Hadoop的虚拟化之恋

从服务器虚拟化到整个数据中心虚拟化，今天我们已经充分感受到了虚拟化这个小子的力量!如果虚拟化能和Hadoop来场恋爱，企业数据中心选择Hadoop的羁绊是不是都会一扫而光呢?答案是肯定的。虚拟化能让Hadoop和底层物理硬件分离，真正步入云端翩跹起舞，Hadoop从而轻松步入快速部署、高可用、资源弹性调度和安全多租户的云端殿堂，企业数据中心大数据分析和利用的美梦才能真正成为现实。

2014-07-02 16:06:07

Spark:星星之火即将燎原

大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年Spark在社区和商业应用上会有爆发式的增长。目前Spark的技术在国内还属于起步阶段，为了更好地帮助大家了解Spark技术特点及应用前景，我们走访了Spark亚太研究院的院长王家林。

2014-07-02 13:55:17

在Docker上建立多节点的Hadoop集群

在上篇文章中你已经看到了在你的devbox创建一个单点Hadoop 集群是多么简单。现在我们提高门槛，在Docker上创建一个多点hadoop集群。

2014-07-01 09:53:21

Docker Hadoop集群

VMware张振伦:Hadoop的虚拟化之恋

高速增长的数据量和日益增加的竞争压力，让越来越多的企业开始思考如何挖掘这些数据的价值。传统的BI系统、数据仓库和数据库系统都不能很好地处理这些数据

2014-06-27 10:14:01

如何成为云计算大数据Spark高手？

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。

2014-06-25 13:57:50

云计算大数据 Spark

数据挖掘中易犯的11大错误

本文主要讲解在数据挖掘中容易犯错误以及相关的解决方案，从第7点轻信预言中挺有意思的，作者用没有正确的结论，只有越来越准确的结论作为修正。

2014-06-24 09:23:03

未来预测：Hadoop将无法独自处理大数据

大数据的世界正在稳步发展壮大。随着数据数量和种类的不断膨胀，读者都想知道接下来会发生什么。Sriram Mohan博士是罗斯豪曼理工学院计算机科学和软件工程的副教授。同时他还兼任着Avalon咨询公司大数据解决方案高级顾问一职。他融汇理论与实践于一身，他绝对是回答“2014年企业大数据发展趋势”的正确人选。下面是他的一些独到见解。

2014-06-17 09:44:30

快数据：大数据发展的下一个起点译文

开源工具正帮助企业大量处理数据流，而为了引入复杂查询与事务型处理能力，VoltDB公司的John Hugg建议采用内存内NewSQL数据存储模式。

2014-06-16 09:11:29

快数据大数据

深入理解Redis主键失效原理及实现机制

最近本博主就对Redis中的主键失效机制产生了几个疑问，并根据这些疑问对其进行了仔细的探究，现总结所得如下，以飨各位看客。

2014-06-13 11:08:52

Redis 主键失效

无所不能的大数据：预测本届世界杯赛事结果译文

我们能否利用数据来预测谁会最终夺冠？为了避免有失偏颇，我们将一边了解怀疑论者的观点、一边感受高盛集团等支持者对于数据驱动模型能够成功预测世界杯冠军归属的坚定决心。

2014-06-13 02:21:14

大数据预测世界杯

关于CentOS 6下Hadoop占用系统态CPU高的处理办法

一次不经意发现Hadoop的系统态CPU使用率很高，然后百度一下居然是个已知问题。RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。

2014-06-12 20:00:14

CentOS 6 Hadoop

2014世界杯冠军预测图：基于大数据与JavaScript 原创

一年一度的球迷盛宴——2014巴西世界杯即将6月13号凌晨即将打响，在世界杯过往的84年历史中，巨星闪耀,，留下无尽的传奇史话。这个夏天注定会被桑巴足球的热情所点燃：32支强队、64场激烈的角逐。

2014-06-12 11:32:16

世界杯大数据

给Hadoop新手的一封信

晚上整理邮箱，找到了一封之前网友的关于hadoop学习的来信以及我的回信，我想应该对初学者会有帮助，就贴出来给大家看看!

2014-06-09 15:43:50

解析Spark在腾讯、雅虎、优酷的成功应用

Spark作为Apache顶级的开源项目，项目主页见http://spark.apache.org。在迭代计算，交互式查询计算以及批量流计算方面都有相关的子项目，如Shark、Spark Streaming、MLbase、GraphX、SparkR等。从13年起Spark开始举行了自已的Spark Summit会议，会议网址见http://spark-summit.org。Amplab实验室单独成立了独立公司Databricks来支持Spark的研发。

2014-06-09 14:44:44

上一页 1 ··· 164 165 166 167 168 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营