鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 353 条

星星之火渐呈燎原之势：Spark 2.0预览版重磅来袭译文

Apache Spark 2.0即将正式与广大用户见面。虽然目前其预览版只向Databricks云产品订阅用户开放，但考虑到Spark峰会即将于下个月召开，预计Apache Spark 2.0的全面降临也将为时不远。在1.x系列时代，Apache Spark的发展速度相当快，倾向于通过小版本更新推出各类新功能。而在首次大版本升级当中，我们相信Spark 2.0将带来真正具有突破性的变化与更加关键的新功能设计。

2016-05-31 10:21:45

Spark Spark 2.0 并行计算

为什么在大数据处理中Cassandra与Spark如此受欢迎？译文

说起Cassandra的用途时，我们可以将其理解为一套理想的客户系统实现方案——其能够保证各类应用始终可用，包括产品目录、物联网、医疗系统以及移动应用。Cassandra于2010年成为Apache软件基金会的顶级项目，而且至今仍拥有极高人气。Cassandra专业知识能够帮助我们在人才市场上获得赏识。我们不禁要问——为什么这一开源项目能够大受欢迎？

2016-05-19 10:31:35

数据处理 Cassandra Spark

Spark Streaming 数据清理机制

大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast 系统会帮忙自己清理掉么？还a是说必须自己做清理？如果系统帮忙清理的话，机制是啥？

2016-05-11 10:29:54

Spark Strea 数据清理 Spark

Spark与Storm注意：Apache Apex已然横空出世译文

诞生于2015年6月的Apache Apex可谓横空出世，其同样源自DataTorrent及其令人印象深刻的RTS平台，其中包含一套核心处理引擎，仪表板、诊断与监控工具套件外加专门面向数据科学家用户的图形流编程系统dtAssemble。

2016-04-27 11:01:11

Spark Storm Apache Apex

LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具

Hadoop的专家们审查流程时发现几个常见的经常性的优化模式，并在此基础上，我们决定开始一个新的实验项目，同时优化Hadoop平台开发者和Hadoop使用者的时间。这就是Dr.Elephant的诞生过程。

2016-04-18 10:45:22

Dr. Elephan Hadoop 性能监控

WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark 原创

4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的黄慧攀讲师，他分享的内容：海量日志处理系统架构。

2016-04-08 13:26:19

WOT2016 又拍云海量日志处理

借助 Redis ，让 Spark 提速 45 倍！

提速幅度有多大?如果Redis和Spark结合使用，结果证明，处理数据(以便分析下面描述的时间序列数据)的速度比Spark单单使用进程内存或堆外缓存来存储数据要快45倍――不是快45%，而是快整整45倍!

2016-03-21 10:16:06

Redis Spark 大数据处理

共筑Spark大数据引擎的七大工具译文

Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一项技术，它结合了诸多部分，新的功能和性能改进不断添加进来，每个部分都在不断完善之中。

2016-03-21 09:56:41

Spark 大数据处理 Apache

非要一决高下？听说Hadoop和Spark更配哦

对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。

2016-03-16 14:59:09

Hadoop Spark 大数据平台

如何基于Spark进行用户画像？

如果你面对5万个匿名驾驶员线路的数据集，你知道如何根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征吗？本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。

2016-03-16 10:22:28

Spark 用户画像数据科学

别再比较Hadoop和Spark了，那不是设计人员的初衷

直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。Hadoop和Spark并不是非此即彼的关系，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。

2016-03-09 14:35:42

Hadoop Spark 数据处理

Spark Streaming 妙用之实现工作流调度器

开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming，我们也许能简化这些工作。

2016-03-03 15:11:42

Spark Strea 工作流调度器

Spark 1.6.0 新手快速入门

随着越来越多的代码贡献者和使用经验，Spark的性能和稳定性在不断提升。本文简单介绍了Spark1.6.0的使用方式，希望对各位初学者有所帮助。

2016-03-02 11:23:34

Spark 1.6.0 开源大数据技术

选择 Parquet for Spark SQL 的 5 大原因

Parquet 用于 Spark SQL 时表现非常出色。它不仅提供了更高的压缩率，还允许通过已选定的列和低级别的读取器过滤器来只读取感兴趣的记录。本文将为您详细介绍使用 Parquet for Spark SQL 优势的 5 大原因。

2016-03-01 11:11:38

Parquet Spark SQL 列式存储

7种最常见的Hadoop和Spark项目

Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，以下所列的是最常见的七种项目。

2016-02-26 10:20:17

Hadoop Spark 大数据项目

雅虎开源人工智能独门武器 CaffeOnSpark

Yahoo 在科技方面的实力大概鲜有人知。事实上开源 Hadoop 就是 Yahoo 孵化的。2月25日，Yahoo 发布了 CaffeOnSpark 人工智能的源代码，每个学术研究人员或是大公司都可以使用或是加以修改。

2016-02-26 09:43:42

雅虎人工智能开源

Spark 2.0面纱半揭，相关细节引人遐想译文

在上周召开的Spark东部峰会上，Databricks公司CTO兼Spark创始人Matei Zaharia谈到了即将出炉的Spark 2.0，其将包含三大核心转变。

2016-02-24 09:29:38

Spark 大数据 Spark 2.0

Spark 是否真的比 MapReduce 技高一筹

作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的，而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。听上去好像 Spark 已经注定要取代 Hadoop MapReduce 了。但真的是这样吗?

2016-02-19 10:05:01

Spark MapReduce 数据处理

Hadoop/Spark生态圈里的新气象

Hadoop绝对没有消亡，不过我确信，知名研究机构Gartner的下一篇文章会这么认为。但Hadoop绝不再是原来的Hadoop。现在你需要知道这个新的Hadoop/Spark生态圈里面有什么。

2016-02-16 13:56:00

Hadoop Spark 生态圈

事实上，Spark是一项非常值得学习的技术

如今，诸如亚马逊、eBay和雅虎等公司都开始采用Spark技术。许多机构将Spark部署在上千个节点的集群中。事实上，Spark是一项非常值得学习的技术。

2016-02-16 10:34:42

Spark 大数据数据处理

Spark Streaming 的玫瑰与刺

玫瑰篇主要是说Spark Streaming的优势点，刺篇就是描述Spark Streaming 的一些问题，做选型前关注这些问题可以有效的降低使用风险。说人话：其实就是讲Spark Streaming 的好处与坑。

2016-01-28 10:11:30

Spark Strea Spark 大数据平台

一个SparkSQL作业的一生可能只是一集琅琊榜

小红是数据分析，她某天写了个SQL来统计一个分院系的加权均值分数汇总。她提交了这个查询到某个SQL On Hadoop平台执行，然后她放下工作，切到视频网页看一会《琅琊榜》……

2016-01-25 13:22:45

Spark SparkSQL 数据分析

2分钟读懂Hadoop和Spark的异同

谈到大数据框架，现在最火的就是Hadoop和Spark，倒底现在业界都在使用哪种技术？二者间究竟有哪些异同？它们各自解决了哪些问题？让我们通过本文来了解。

2016-01-25 10:48:15

大数据框架 Hadoop Spark

Cloudera和Spark的年度回顾

Cloudera 作为Apache Hadoop的最快速、最便捷、最安全的数据管理和分析平台，以及最新开源技术的提供者，于一个月前宣布增加了对Spark SQL和MLiB与Cloudera Enterprise 5.5 和 CDH 5.5集成的支持。

2016-01-15 15:55:56

Cloudera Spark Hadoop

使用Docker在本地搭建hadoop，spark集群

目前网上在docker上部署spark的介绍比较简单和没有相关启动使用的操作,本文重点在于docker相关的操作.

2016-01-07 09:36:20

大数据工具比较：R语言和Spark 谁更胜一筹？

本文有两重目的，一是在性能方面快速对比下R语言和Spark，二是想向大家介绍下Spark的机器学习库。

2015-12-08 13:48:50

大数据工具 R语言 Spark

使用Apache Spark和MySQL打造强大的数据分析

借助真实案例和代码样本，本文作者展示了如何将Sparke和MySQL结合起来，创造数据分析上的强大工具。

2015-10-16 09:21:13

Spark MySQL 数据分析

Storm、Spark和MapReduce 开源分布式计算系统框架比较

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm；这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发。

2015-10-15 14:05:51

Storm Spark MapReduce

逆水行舟，看前行中的Spark

近两年，Spark技术发展速度惊人，用户越来越多，社区也愈加活跃，生态更加丰富，这些都证明了Spark的魅力。在生态建设上，Spark取得了极大的成功，主要体现在Application、Environment及Data Source三个方面。

2015-09-25 11:26:16

spark 大数据

Spark是什么？用Spark进行数据分析

Apache Spark是一个为速度和通用目标设计的集群计算平台。

2015-09-23 09:24:56

spark 数据分析

Spark“变形记”——云海大数据一体机让数据处理更轻松

云海大数据一体机就是采用了业内主流的Hadoop+Spark的架构形式，搭建了国内外领先的大数据分析平台CloudCanyon，通过Spark计算框架消除了传统Map/Reduce计算框架的弊病，实现了高效的内存计算。Hadoop经过多年的发展，大家对其性能已经是耳熟能详；但是对于Spark，许许多人还觉得有些陌生。

2015-09-10 13:35:45

云海大数据一体机

Databricks Cloud推动Spark大数据平台大众化

Databricks Cloud是一款基于云计算的Spark大数据处理引擎，它实现了一些更新特性，旨在满足来自数据科学家社区的功能需求。

2015-08-18 13:35:42

I.D.Spark—圆你的创业梦

2015-08-06 09:36:35

南京软博会

Spark项目为何会在云环境中大放光芒？译文

就在上个月，多家在云及商业计算领域声名显赫的巨头公开表达（并决定投资）了对Apache Spark数据分析项目的兴趣。是什么让这些老牌劲旅对这款年轻的技术方案青眼有加？

2015-07-31 11:26:26

spark 云计算大数据

大数据：Spark和Hadoop是友非敌

Spark 在 6 月份取得了激动人心的成绩。在圣何塞举办的 Hadoop 峰会上，Spark 成了人们经常提及的话题和许多演讲的主题。IBM 还在 6 月 15 号宣布，将对 Spark 相关的技术进行巨额投资。

2015-07-23 14:29:28

大数据 spark hadoop

Spark 和 Hadoop 是朋友不是敌人

6月15日，IBM 宣布计划大规模投资 Spark 相关技术，此项声明会促使越来越多的工程师学习 Spark 技术，并且大量的企业也会采用 Spark 技术。

2015-07-15 10:11:31

Spark的快难道是以丧失正确性为代价的？

Spark最著名的一篇论文是：《Spark: Cluster Computing with Working Sets》。当你读它的时候你需要明白：文中代码不保证计算结果是正确的。具体来说，它的Logistic Regression的代码在map阶段用到了accumulator。下面解释为什么这么做是错误的。

2015-07-06 14:54:19

Spark 计算正确性 Hadoop

三个理由告诉你为什么需要在云端运行Spark 译文

Spark的发展势头正猛，可是对主流用户们来说还是太难了。云外加可视化也许有所帮助。

2015-06-23 09:10:04

Spark 主机托管云平台

助人就是助己：IBM宣布大规模资助开源大数据项目Spark

本周一，IBM宣布将对开源实时大数据分析项目Apache Spark进行大规模资助，蓝色巨人宣称，其资助的力度之大相当于每年数亿美元的投入。

2015-06-16 11:09:44

IBM 大数据开源

相比Hadoop,如何看待Spark技术?

之前看Spark的评价，几乎一致表示，Spark是小数据集上处理复杂迭代的交互系统，并不擅长大数据集，也没有稳定性。但是最近的风评已经变化，尤其是14年10月他们完成了Peta sort的实验，这标志着Spark越来越接近替代Hadoop MapReduce了。

2015-04-28 14:55:01

Hadoop Spark技术

Spark点燃近实时大数据之火

在用户体验达不到所宣传效果之后，IT领域中必然会随之出现“新的热门事件”。目前的新热门事件涉及大数据和对海量分布式数据的快速精准分析。

2015-04-01 15:03:58

Spark 大数据

Spark成为大数据分析领域新核心的五个理由译文

为了更为顺畅地实现Hadoop基础之上的高级与实时分析目标，Apache Spark凭借着自身的出色表现很快成为大数据领域的新核心。

2015-03-20 16:40:40

Spark 大数据分析大数据

流式大数据处理的三种框架：Storm,Spark和Samza

许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。

2015-03-16 14:54:06

大数据流式大数据大数据处理

了解大数据技术生态圈：Hadoop/hive/spark

大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。

2015-03-04 11:19:59

大数据生态圈 Hadoop

物联网安全洗牌：ARM收购Offspark

ARM控股公司挤入连接设备市场，周一收购了物联网安全软件公司Offspark。

2015-02-11 09:29:04

物联网安全 ARM 收购

大数据计算平台Spark内核全面解读

Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着Spark在大数据计算领域的暂露头角，越来越多的企业开始关注和使用。

2015-02-03 03:18:56

Spark Spark内核

Spark 1.2：向MapReduce在Hadoop中的统治地位发起挑战

面向Hadoop的Spark内存内框架最新版本在集群性能改进之外，也加入了针对Python的更多支持能力。

2014-12-29 09:59:03

Spark 1.2 MapReduce

专访携程李亚锋:大数据技术融合下的Spark更具魅力原创

“大数据”作为当下最火热的IT行业词汇，在主流的数据处理工具当中Hadoop和Spark都被大家所熟悉。不过，目前基于内存计算的Spark适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，已经逐渐获得很多企业的支持。这是否意味着我们应该彻底抛弃Hadoop？在前不久的北京Spark亚太峰会上，记者有机会专访到携程大数据平台高级经理李亚锋，为大家分享如何通过Spark与Hadoop大数据技术间的融合，实现优势互补，引导企业发现用户的潜在需求。

2014-12-23 15:07:56

携程大数据 Spark

Spark1.2新特性概述

Spark Contributor、Spark布道者陈超通过本文总结了Spark 1.2版本的新特性，其中包括Spark Core、Spark Streaming、MLlib、GraphX、Spark SQL等方面，方便大家了解学习。

2014-12-23 10:07:30

Spark Spark 1.2

Spark 1.2 发布，开源集群计算系统

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 1.2 发布，此版本包括 172 位贡献者和超过 1000 个 commits。

2014-12-22 09:57:27

Spark 分布式数据集大数据

上一页 1 ··· 3 4 5 6 7 8 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营