鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 353 条

Storm与Spark：谁才是我们的实时处理利器译文

实时商务智能目前已经逐步迈入主流，而Storm与Spark开源项目的支持无疑在其中起到了显著的推动作用。那么问题来了：实时处理到底哪家强？

2014-12-15 09:32:17

2014Spark亚太峰会图文直播原创

移动互联网及云计算大数据的浪潮正在并将最终彻底的变革所有的公司和机构的架构模式、生产模式、服务模式以及管理模式。伴随着大数据相关技术和产业的逐步成熟，继Hadoop之后，Spark技术以集大成的无可比拟的优势，发展迅速，将成为替代Hadoop的下一代云计算、大数据核心技术。

2014-12-06 12:18:14

Spark 2014Spark Spark亚太峰会

专访京东云大数据平台技术负责人廖晓辉：揭秘Spark与云服务原创

云已经成为在互联网圈里出现频率最高的一个词了。无论是公有云、私有云、开发云，测试云；也不仅仅是互联网企业，传统企业也因为云做出了或多或少的改变。云已经成为像水、电一样不可或缺的资源。

2014-12-05 15:37:06

Spark 云服务

Spark：为大数据处理点亮一盏明灯译文

Apache Spark为Hadoop集群带来了速度极高的内存内分析能力，从而将大规模数据集的处理周期由几小时成功缩短为几分钟。

2014-12-02 09:49:12

Spark 大数据

2014 Spark开发者大赛正式启动原创

据悉：2014年9月30日，2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从业者、Spark技术爱好者及数百所高校在读学生。无论是对Spark有浓厚兴趣的初学者、或者Spark应用高手，还是Spark源码级别大牛，都可以借助本次大赛，一展才华，就Spark技术与应用实践展开交流及切磋。

2014-10-13 10:26:35

Spark实战：单节点本地模式搭建Spark运行环境

Spark与Hadoop一样，是一种开源的集群计算环境，但在特定工作负载情况下比Hadoop更高效。Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。下面作者将通过单节点本地模式搭建Spark运行环境

2014-09-16 10:13:27

Spark 搭建环境

星环：如何构建企业级Hadoop/Spark分析平台

进入2014年以后，Spark开源生态系统得到了大幅增长，已成为大数据领域最活跃的开源项目之一。Spark之所以吸引如此多的关注，究其原因主要是因为Spark具有的高性能、高灵活性、与Hadoop生态系统完美融合等三方面的特征。

2014-09-09 14:10:01

企业级 Hadoop Spark

专访梁宇明：Hulu的Spark On YARN之路原创

Hulu，因为尚未进入中国，知道它的人远不如知道YouTube和优酷、土豆。而在美国，Hulu已经将Google Video挤出局成为全美排名第10的视频网站。今天，来自Hulu，负责大数据团队基础架构开发的梁宇明老师，将为我们分享Hulu的Spark On YARN之路。

2014-08-25 09:03:44

Hulu Spark On Y

Databricks连城：Spark打造一体化大数据流水线

连城老师目前专注于以Spark为主的大数据分析系统，Spark SQL为Spark提供了原生的SQL关系查询能力，并进一步增强了Spark操纵结构化数据的能力。演讲伊始，连城率先分享了当今大数据的问题以及数据分析流程，通常的做法是在hadoop之上刻画框架。因此所有流程是基于HDFS，所得到的是有效的数据处理结果占比全部数据处理的比例并不高。

2014-07-26 14:44:01

Databricks 连城 Spark

Apache Spark源码走读之3：Task运行期之函数调用

本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。

2014-07-23 10:02:11

Web安全扫描器Netsparker v3.5发布

Netsparker是一款综合型的web应用安全漏洞扫描工具，它分为专业版和免费版，免费版的功能也比较强大。Netsparker与其他综合性的web应用安全扫描工具相比的一个特点是它能够更好的检测SQL Injection和Cross-site Scripting类型的安全漏洞。

2014-07-22 10:13:26

Netsparker 漏洞扫描工具漏洞扫描

Spark1.0.0部署指南

今天要给大家讲述Spark1.0.0部署的过程。Spark常用的安装部署模式有Spark On Yarn和Standalone，可以同时使用。

2014-07-17 14:09:31

Apache Spark源码走读：如何进行代码跟读

今天不谈Spark中什么复杂的技术实现，只稍为聊聊如何进行代码跟读。众所周知，Spark使用scala进行开发，由于scala有众多的语法糖，很多时候代码跟着跟着就觉着线索跟丢掉了，另外Spark基于Akka来进行消息交互，那如何知道谁是接收方呢？

2014-07-15 10:59:58

Spark 代码跟读

Apache Spark源码走读之2：Job的提交与运行

本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。

2014-07-04 10:58:47

巧用云平台简化Spark集群与大数据部署译文

在本届Spark 2014峰会上，Databricks公司CEO Ion Stoica在主题演讲中公布了Databricks云——这是一套针对内存内集群计算的交钥匙平台，承诺以Hadoop MapReduce为基础给大数据处理任务带来显著性能提升。

2014-07-04 10:01:08

Apache Spark源码走读之1:论文阅读笔记

源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Matei Zaharia做的Spark论文是一个非常不错的选择。在阅读该论文的基础之上，再结合Spark作者在2012 Developer Meetup上做的演讲Introduction to Spark Internals，那么对于Spark的内部实现会有一个比较大概的了解。有了上述的两篇文章奠定基础之后，再来进行源码阅读，

2014-07-03 15:40:09

Spark:星星之火即将燎原

大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年Spark在社区和商业应用上会有爆发式的增长。目前Spark的技术在国内还属于起步阶段，为了更好地帮助大家了解Spark技术特点及应用前景，我们走访了Spark亚太研究院的院长王家林。

2014-07-02 13:55:17

如何成为云计算大数据Spark高手？

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。

2014-06-25 13:57:50

云计算大数据 Spark

解析Spark在腾讯、雅虎、优酷的成功应用

Spark作为Apache顶级的开源项目，项目主页见http://spark.apache.org。在迭代计算，交互式查询计算以及批量流计算方面都有相关的子项目，如Shark、Spark Streaming、MLbase、GraphX、SparkR等。从13年起Spark开始举行了自已的Spark Summit会议，会议网址见http://spark-summit.org。Amplab实验室单独成立了独立公司Databricks来支持Spark的研发。

2014-06-09 14:44:44

快扔掉MapReduce，拥抱Spark吧！译文

Apache Spark也许能为Hadoop MapReduce带来一套速度表现更出色的替代方案。

2014-06-05 08:47:52

Spark 1.0 Mapreduce

大数据利器：Spark的单机部署与测试笔记

Spark作为最有可能代替mapreduce的分布式计算框架，正受到广泛的关注。相比Hadoop来说，Spark的中间计算结果存于内存无疑给计算过程节省了很多时间，于是想试试看其与Hadoop有什么不一样的地方，就有了这篇Spark的单机部署与测试笔记。

2014-05-16 10:55:47

Spark基本概念解析

Spark作为一个资源管理器的存在，类似YARN、Mesos的角色，为Spark Application提供资源。

2014-04-16 15:11:19

Spark多语言编程实践

了解了Spark编程的基本概念，可以看出Spark编程都是围绕着RDD进行的。关于编程的基础知识，可以参看spark编程基础。

2014-04-16 14:50:20

Spark的Standalone模式部署

首先，下载并解压缩Spark的源码，切换到解压缩所生成的目录，运行部署包生成程序make-distribution.sh。就可以开始Standalone模式部署过程了。

2014-04-16 14:04:34

Spark Standalone

Spark的YARN模式部署

Spark可以通过SBT（Scala Build Tool）或者Maven来编译，官方提供的二进制安装文件是用Maven编译。

2014-04-16 13:47:43

Spark On Yarn(HDFS HA)详细配置过程

我们将要介绍Spark On Yarn详细配置过程，包括服务器分布以及Spark的部署全部过程。

2014-04-16 11:01:07

Spark集群部署

本文将为您介绍如何在虚拟机环境部署Spark集群。集群上已经成功部署了Hadoop2.2，软件环境为64位Ubuntu12.04 LTS。

2014-04-16 10:41:58

Apache Spark三种分布式部署方式比较

目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN。

2014-04-09 14:59:55

Cloudera将Spark划入Hadoop

Spark作为一个通用的并行计算框架，已经成为继Hadoop之后又一大热门开元项目，逐渐获得很多企业的支持。近日，Cloudera正式宣布开始商业支持Apache Spark 机器学习和数据流处理环境。

2014-04-09 10:55:55

Spark会是大数据领域的下一个大家伙吗？_IT技术周刊第359期

2014-03-31 13:47:35

优酷土豆应用Spark完善大数据分析案例

优酷土豆作为国内最大的视频网站，和国内其他互联网巨头一样，率先看到大数据对公司业务的价值，早在2009年就开始使用Hadoop集群，随着这些年业务迅猛发展，优酷土豆又率先尝试了仍处于大数据前沿领域的Spark/Shark 内存计算框架，很好地解决了机器学习和图计算多次迭代的瓶颈问题，使得公司大数据分析更加完善。

2014-03-27 09:36:36

对比Hadoop 分析Spark受多方追捧的原因

作者Mikio Braun是柏林工业大学机器学习专业的博士后，他通过描述了自己对Spark逐步认识的过程，为我们剖析了Spark的原理和应用。

2014-03-26 11:09:27

Apache Spark是大数据领域的下一个大家伙吗？

Spark是一个基于内存in-memory数据处理平台，兼容于Hadoop 数据源但是比Hadoop MapReduce运行得快得多。.特别适合于机器学习处理。

2014-03-26 10:59:14

Apache Spark的R语言前端：SparkR

SparkR是一个R语言包提供了一个轻量级的前端，用于从R语言中使用Apache Spark。SparkR通过RDD类暴露Spark API，允许用户以交互方式在集群上从R shell运行jobs。

2014-03-26 10:52:24

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

2014-02-14 15:43:16

将Spark部署到Hadoop 2.2.0上

本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上，如果你们的Hadoop是其他版本，比如CDH4，可直接参考官方说明操作。

2014-01-07 11:24:45

Spark：利用Eclipse构建Spark集成开发环境

前一篇文章“Apache Spark学习：将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包，而本文则在此基础上，介绍如何利用Eclipse构建Spark集成开发环境。

2014-01-07 10:36:32

利用Scala语言开发Spark应用程序

park内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。

2014-01-07 10:12:15

Google打造Spark：基于Web的应用开发工具

Google喜欢Web应用，但在编程工具领域，还是单机软件的天下。为此，Google于周四推出了名叫Spark(星火)的项目，有望能就此改变这一状况。据Francois Beaufort表示，Spark是一个运行于Chrome浏览器中的Web IDE(集成开发环境)，用它来编写Chrome应用应该再合适不过了。

2013-11-22 11:03:45

Google Web 开发工具

Cloudera与Databricks达成合作 Spark迈上企业级之路

本年度Hadoop World会议上最火的一则消息可能就是Cloudera决定提供Apache Spark的全企业级支持——类似Hadoop发行版里的定制内容及付费产品支持，不仅仅是技术整合。这进一步证明了未来Hadoop的工作负载比现在和过去的看起来大不一样。

2013-11-01 09:25:19

大数据 Hadoop Spark

Spark：一个高效的分布式计算系统

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

2013-09-11 16:02:00

Spark 分布式计算系统

2013创新中国BizSpark专场（北京）圆满结束

6月13日下午17:00，由创业邦和微软(中国)有限公司BizSpark计划联合主办的2013创新中国微软BizSpark新创企业大赛 —— 云/端专场大赛(北京)在中关村微软大厦完美落幕。来自全国各地的12家创业团队参加了本次大赛。

2013-06-14 16:05:18

Twitter将采用Spark分析大数据

Twitter数据科学家Edwin Chen最近在接受媒体采访的时候透露，Twitter内部希望尝试一种全新的大数据系统——Spark。

2012-08-30 14:33:03

微软BizSpark：托举创业梦想的支点

2012年微软BizSpark新创企业大赛中国区决赛落下帷幕。微软BizSpark™新创企业扶植计划于2008年11月正式在大中华区推出，截至2012年，已经有超过1000家新创企业免费获得微软开发工具、操作系统、数据库、办公软件与服务器软件的使用许可。在2012年的微软BizSpark™新创企业大赛中，微软继续加大对中国新创企业的支持力度

2012-05-22 19:08:20

微软 BizSpark 创业

利用 Spark 进行数据分析和性能改进

Spark 是一种前景无限的大数据分析解决方案，专为使用内存处理的高效集群计算而开发。其目标使用模型包括整合了迭代式算法的模型（也就是说，能够受益于将数据保留在内存之中，而非将其推送到杨恩较高的文件系统的模型）。在动手尝试这些练习之前，请务必理解 Spark 的集群计算方法及其与 Hadoop 的不同之处。请阅读最近发表的一篇相关文章 Spark，一种快速数据分析替代方案，以便了解 Spark 的背景知识和使用方法。

2012-03-21 09:31:51

微软BizSpark项目开放Azure平台资助中小开发者译文

微软产品因为价格的问题无法得到开发者的青睐，他们因而转向使用开源平台或其他便宜的的替代产品。为了解决这个问题，2008年，微软在全球范围内开展BizSpark项目，为那些成立在三年以内以及年收入在100万美元之内的初创企业提供免费产品。到现在，已经有4万5千个小公司成为了BizSpark项目成员。

2012-03-08 16:13:28

云计算微软 Azure

亚马逊和微软协议扩大包括BizSpark和SQL Server2012

亚马逊已宣布与微软的两条许可协议。第一条协议取消了BizSpark成员在EC2上运行微软软件的许可费。第二条协议允许所有的开发人员在EC2上运行SQL Server 2012预览。要指出的是，正常的EC2服务率仍然在提出申请这两条协议。

2011-12-24 14:10:30

云计算微软亚马逊

微软大中华区BizSpark创新企业大赛扬帆起航

“微软创新企业扶植计划”（Microsoft BizSpark™），2008年11月正式推出，旨在帮助从事软件开发和互联网服务的创新企业在早期发展阶段快速成长。它在扶植计划期内为创新企业提供多项资源，包含软件和技术支持，并帮助创业企业提高知名度。

2011-02-28 17:10:25

BizSpark 微软创新企业大赛

Flex4beta的Spark布局特性解析

Spark作为Flex4beta的全新组件模型和架构给RIA表格带来了很多惊喜，本文就向大家简单介绍一下Flex4beta的Spark布局。

2010-07-27 10:32:41

剖析微软扶植创业及创新型企业Spark计划

2008年11月，微软推出“创业企业扶植计划”（BizSpark™），旨在帮助从事软件开发和互联网服务的创业企业在早期发展阶段快速取得成功。

2009-11-30 18:38:12

微软创业 Spark

上一页 1 ··· 3 4 5 6 7 8 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营