鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 353 条

大火的Apache Spark也有诸多不完美

Apache Spark为大数据处理提供一套完整的工具，用户在大数据集上进行操作完全不需考虑底层基础架构，它会帮助用户进行数据采集、查询、处理以及机器学习，甚至还可以构建抽象分布式系统。

2017-03-10 16:32:44

Apache Spar 大数据工具

实现Spark部署依赖供应商还是"自力更生"？

Apache Spark用户经常面临一个困境：继续获取来自供应商的支持还是更新版本，使用具有更新功能的快速移动的开源软件?

2017-03-07 08:28:38

Spark 部署供应商

Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势

本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。

2017-03-07 07:44:52

Spark 数据倾斜

OpenStack Sahara如何构建Hadoop和Spark系统

OpenStack是一种云操作系统，用于提供虚拟机，而OpenStack Sahara是一个附加组件，使管理员能够在这些虚拟机上部署Spark和Hadoop。

2017-03-06 09:40:39

OpenStack S Hadoop Spark

Spark知识体系完整解读

　　Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。

2017-02-27 16:42:23

Spark 识体系

雅虎BigML团队开源大数据分布式深度学习框架TensorFlowOnSpark

在雅虎，我们发现，为了从海量数据中获得洞察力，需要部署分布式深度学习。现有的深度学习框架常常要求为深度学习单独设定集群，迫使我们要为一个机器学习流程(见下图 1)创建多个程序。

2017-02-15 14:36:12

开源大数据 TensorFlowO

用Spark机器学习数据流水线进行广告检测

在这篇文章中，我们Spark的其它机器学习API，名为Spark ML，如果要用数据流水线来开发大数据应用程序的话，这个是推荐的解决方案。

2017-02-14 21:00:33

大数据机器学习广告检测

大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。

2017-02-14 13:11:23

Hadoop Storm Samza

大数据计算架构Hadoop、Spark和Storm 三者技术比较

纵观技术的发展史，我们可以看到，每一项新技术的问世都有着之前技术的身影，伴随着大数据的需求增长，不同的架依然会不断进化，并改进自身的缺点，从而使得自身架构得到进一步的完善。就目前来看Hadoop，Spark和Storm目前远谈不到谁取代谁。

2017-02-10 09:00:03

Hadoop Spark Storm

用Spark分析Amazon的8000万商品评价(内含数据集、代码、论文)

尽管数据科学家经常通过分布式云计算来处理数据，但是即使在一般的笔记本电脑上，只要给出足够的内存，Spark也可以工作正常(在这篇文章中，我使用2016年MacBook Pro / 16GB内存，分配给Spark 8GB内存)。

2017-02-09 14:34:25

亚马逊大数据 Spark

用Spark学习矩阵分解推荐算法

在矩阵分解在协同过滤推荐算法中的应用中，我们对矩阵分解在推荐算法中的应用原理做了总结，这里我们就从实践的角度来用Spark学习矩阵分解推荐算法。

2017-02-08 09:25:16

Spark 分解推荐

看大片深入理解Spark的概念和编程方式

第一次听闻Spark是2013年年末，当时笔者对Scala(Spark的编程语言)感兴趣。一段时间之后做了一个有趣的数据科学项目，试图预测泰坦尼克号上的生还情况(Kaggle竞赛项目，通过使用机器学习预测泰坦尼克号上哪些乘客具备更高的生还可能性)。通过该项目可以更深入地理解Spark的概念和编程方式。

2017-01-15 21:20:30

Spark Apache Spar 数据科学

Intel开源基于Spark的深度学习库BigDL

近日，Intel 开源了 BigDL，这是一个基于 Apache Spark 的分布式深度学习库。使用 BigDL ，用户可以将他们的深度学习应用程序作为标准的 Spark 程序，它可以直接运行在现有的 Spark 或 Hadoop 集群之上。

2017-01-11 16:36:51

Intel 开源 BigDL

Apache Spark 2.0简介，那些你想知道的事都在这里了

Spark Streaming在大数据领域第一次尝试将批处理和流计算进行了统一。

2017-01-11 08:37:07

Apache Spar Streaming DataFrames

基于Spark的公安大数据实时运维技术实践

本文首先对公安运维管理现状做了简要介绍，然后介绍公安实时运维平台的整体架构，再以交换机Syslog信息为例，详细介绍如何使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析，对处理过程中大量的技术细节进行了描述并通过代码详细地介绍整体处理步骤。

2017-01-04 10:29:37

Spark 运维技术

挨踢部落第一期:Spark离线分析维度原创

挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2016-12-22 10:26:16

大数据 spark

使用Apache Spark 的Lambda架构

市场上很多玩家已经建造了MapReduce工作流用来日常处理兆兆字节的历史数据。

2016-12-20 09:47:38

Apache Spar Lambda 架构

Spark Streaming原理剖析

在“1.初始化与集群上分布接收器”中介绍了，receiver集合转换为RDD在集群上分布式地接收数据流。那么每个receiver是怎样接收并处理数据流的呢?Spark Streaming数据接收与转化的示意图如图8-14所示。

2016-12-19 14:35:32

Spark Strea 原理剖析数据

Spark SQL架构分析

Spark SQL的查询优化是Catalyst，其基于Scala语言开发，可以灵活利用Scala原生的语言特性方便地扩展功能，奠定了Spark SQL的发展空间。

2016-12-14 19:20:07

Spark SQL 架构分布式

Spark SQL优化策略

查询优化是传统数据库中最为重要的一环，这项技术在传统数据库中已经很成熟。除了查询优化，Spark SQL在存储上也进行了优化。下面介绍Spark SQL的一些优化策略。

2016-12-14 19:04:16

Spark SQL 优化

Spark架构在大数据环境的核心位置找到用武之地

Webtrends公司的IT团队在Apache Spark这款处理引擎还是一项学术研究项目的时候就已经开始使用它并沿用至今。但当Webtrends在2014年年中部署了一套基于Hadoop的大数据环境来对分析应用程序进行增强的时候，Spark架构便成了一个有限的角色：有关数据索引的聚合细节有助于用户发现相关信息。现在，一切都已改变，而且该公司正在花大力气学习Spark并作为其大数据平台升级版本的一部分。

2016-12-07 13:18:52

Spark架构大数据

如何用Spark解决一些经典MapReduce问题？

本文将简单介绍几个经典hadoop的mr按理用spark实现，来让大家熟悉spark的开发。

2016-12-07 09:38:53

Spark MapReduce

使用Apache Spark构建实时分析Dashboard

Apache Spark – 一个通用的大规模数据快速处理引擎。Spark的批处理速度比Hadoop MapReduce快近10倍，而内存中的数据分析速度则快近100倍。

2016-11-29 09:27:22

Apache Spar Dashboard 构建

实现Spark集群部署这些公司都经历了什么?

咨询公司获得了客户关于Spark评价的 “实质性”调查。但这项技术尚未成熟，企业用户中关于Spark集群的产品相对较少。他说，“我们对这项技术很感兴趣，Spark是否转化为部署是我们密切关注的事情。”

2016-11-29 09:23:17

Spark 集群部署

关键七步，用Apache Spark构建实时分析Dashboard

本文我们将学习如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts构建实时分析Dashboard。

2016-11-22 13:25:28

Apache Spar 大数据

Apache Spark的Lambda架构示例应用

目前，市场上很多玩家都已经成功构建了MapReduce工作流程，每天可以处理TB级的历史数据，但是在MapReduce上跑数据分析真的太慢了。所以我们给大家介绍利用批处理和流处理方法的Lambda架构，本文中将利用Apache Spark(Core，SQL，Streaming)，Apache Parquet，Twitter Stream等实时流数据快速访问历史数据。

2016-11-15 14:07:28

Apache Spar Lambda Hadoop

数据倾斜是多么痛？spark作业调优秘籍

有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。

2016-11-11 20:16:23

数据倾斜 spark

Spark不是唯一，三种新兴的开源数据分析工具

在数据分析方面，影响深远的变化正在酝酿之中，而开源工具在引领许多变化。当然，你可能已熟悉这个领域的一些明星开源项目，比如Hadoop和Apache Spark，不过现在出现了强烈的要求，需要全面完善数据分析生态系统的新工具。值得注意的是，许多这些工具是为了处理流数据而定制的。

2016-11-09 14:28:04

Spark 开源数据分析工具

大数据技术的对决——Spark对Impala对Hive对Presto

在大数据浪潮全面来袭的历史背景下，我们一直面临着同一类难题的困扰——该选择哪款工具解决相关问题?这项挑战在大数据SQL引擎领域同样存在。

2016-11-07 16:06:43

大数据 Spark Impala

Spark与Hadoop MapReduce大比拼，谁实力更强

park与Hadoop MapReduce在业界有两种说法：一是 Spark 将代替 Hadoop MapReduce，成为未来大数据处理发展的方向 ;二是 Spark 将会和 Hadoop 结合，形成更大的生态圈。

2016-11-02 09:20:01

Spark Hadoop MapR 大数据

Spark将机器学习与GPU加速机制纳入自身译文

此次推出的新功能——即GPU加速与多套深度学习库集成——在理论上能够实现Apache Spark在任意位置的安装工作。不过Databricks方面表示，其版本目前仍处于调整阶段，这是为了避免资源争用情况给功能的实际使用带来复杂性影响

2016-10-31 10:34:13

GPU,机器学习

Spark与Hadoop两大技术趋势解

说到大数据分析，16年基本被Spark与Hadoop霸屏，到底是什么样的魔力让它们足以引起大数据世界的波动，未来又会如何发展呢?

2016-10-25 09:13:21

Spark Hadoop 技术

理解Spark的核心RDD

与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，使得它可以以基本一致的方式应对不同的大数据处理场景，包括MapReduce，Streaming，SQL，Machine Learning以及Graph等

2016-10-24 23:04:56

Spark RDD 数据

理解Spark的核心RDD

RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。

2016-10-24 09:52:45

Spark RDD 容错

Spark生态系统中的图数据分析知识

图结构可有效表示稀疏矩阵，因而图数据分析可用于实现大数据分析。对于Spark生态系统中的图处理系统GraphX，《Spark GraphX in Action》一书给出了详细的教程和典型用例，将教会读者如何使用GraphX和GraphFrames进行图分析。本文是Info对该书作者的访谈，内容包括图数据及分析技术、GraphX高效程序开发、图数据分析的趋势等。

2016-10-19 18:31:11

Spark 图数据分析传统数据

Hadoop+Spark 大数据开发项目最佳实践

医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。

2016-10-12 09:41:45

Hadoop+Spar 大数据开发

加速企业级大数据方案落地 IBM聚力发挥Spark优势

面对这一逐渐强大的数据计算架构，IBM着力发展Spark项目，将其定位于数据分析的操作系统，并基于Spark构建IBM数据分析产品的整个体系。IBM对Spark的“押宝”，可以从社区贡献、产品搭建、人才教育、创新应用四个维度予以解读

2016-10-11 10:20:04

Spark加速大数据在企业落地

Spark加速大数据在企业落地

2016-09-22 14:32:46

Spark的三种集群deploy模式对比

Spark有三种集群部署模式，或者叫做集群管理模式。分别是standalone，YARN和Mesos。这三种模式其实都是master/slave模式。

2016-09-13 14:05:24

Spark 集群管理模式

开学好成绩!新华三获Hadoop/Spark大数据认证6项第一

开学季来到，新华三集团迎来新学期首轮好成绩：以12项测试6项第一的傲人成绩，通过大数据Hadoop/Spark产品能力认证性能专项测试，并在9月1日2016可信云大会开幕式中获颁证书，成为新华三大数据平台继4月25号基础能力认证之后的又一突破。这标志着新华三在大数据领域领先的技术实力受到业界的一致认可，也预示着新华三在大数据道路上又往前迈进了一大步。

2016-09-06 13:55:54

Spark体系架构必读

最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “spark-architecture” 这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资源管理，步步深入，感触颇多。因此，在周末的业余时间里，将此文的核心内容译成中文，并在这里与大家分享。

2016-09-04 14:00:31

一文读懂Hadoop、HBase、Hive、Spark分布式系统架构

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理，本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系。

2016-09-01 13:48:18

Hadoop HBase Hive

大数据项目实践：基于hadoop+spark+mongodb+mysql+c#开发医院临床知识库系统

针对医疗IT系统现状,思考拟利用医院现有的历史就诊记录、处方、诊断、病历数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些规则、知识信息构建专业的临床知识库，为一线医务人员提供专业的诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大的提高医疗服务质量，减轻一线医疗人员的工作强度。

2016-08-24 17:35:27

hadoop spark 中间件

让Spark如虎添翼的Zeppelin – 基础篇

Spark是一个非常好的计算平台，支持多种语言，同时基于内存的计算速度也非常快。对于刚接触的人来说，上手以及环境搭建还是有一些困难。

2016-08-22 11:06:43

Spark Zeppelin python modu

Spark入门：实现WordCount的3种方式

当我们学习一门新的语言，HelloWorld通常是我们写的第一个程序。而WordCount基本上是我们学习MapReduce思想与编程的第一个程序，无论是Hadoop的MR或者是Spark的RDD操作学习。

2016-08-19 08:50:12

Spark WordCount reduceByKey

为什么说Spark SQL远远超越了MPP SQL

MPP SQL 是 Spark SQL 的一个子集，Spark SQL 成为了一种跨越领域的交互形态，MPP SQL 是 Spark SQL 的一个子集。

2016-07-01 14:37:01

Apache Spark不是唯一，快来了解三种新兴的开源数据分析工具译文

物联网带来了众多传感器及其他设备，它们在生成源源不断的数据流，而物联网只是推动市场需要新型分析工具的重大趋势之一。我们需要全面完善数据分析生态系统的新工具。值得注意的是，许多这些工具是为了处理流数据而定制的。本文将探讨三种新兴的数据分析工具。

2016-06-20 09:06:12

Apache Spar 开源工具

Spark SQL 究竟是何方神圣? 译文

Spark SQL属于Spark用于处理结构化与半结构化数据的接口。结构化数据是指那些拥有一定模式的数据，包括JSON、Hive Tables以及Parquet。模式意味着每条记录都拥有一套已知字段组。半结构化数据则代表着模式与数据之间不存在明确的区分。

2016-06-17 12:31:10

Spark SQL 数据处理 Spark

Cloudera与微软开发Livy 简化Spark应用

Livy为应用程序与Spark相连接、交付作业以及程序化检索结果提供了一个简单的方式。从其核心上来说，Livy是一款提交、运行以及管理Spark任务和环境的REST服务器。其客户端API，允许同步或异步精细Spark作业交付及结果检索。客户能够像一种多租户服务一样对Spark进行使用，无需担心实施、配置或监测。Livy以多租户服务的形式，来为Spark提供会话隔离、安全及用户身份模拟

2016-06-16 09:56:17

呼之欲出！比Spark快10倍的Hadoop3.0有哪些实用新特性？

Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。

2016-06-02 14:05:22

Hadoop 3.0 大数据处理 Spark

上一页 1 ··· 3 4 5 6 7 8 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营