鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 353 条

大数据计算框架Spark之内存模型

Executor 端的内存模型,包括堆内内存(On-heap Memory)和堆外内存(Off-heap Memory)。

2019-06-27 11:18:00

Spark 内存大数据

基于Spark的数据分析实践

本文主要分析了 Spark RDD 以及 RDD 作为开发的不足之处，介绍了 SparkSQL 对已有的常见数据系统的操作方法，以及重点介绍了普元在众多数据开发项目中总结的基于 SparkSQL Flow 开发框架。

2019-06-19 16:01:14

Spark 数据分析 SparkSQL

为啥Spark 的Broadcast要用单例模式

很多用Spark Streaming 的朋友应该使用过broadcast，大多数情况下广播变量都是以单例模式声明的有没有粉丝想过为什么?

2019-06-11 09:50:07

Spark Broadcast 代码

一篇文章了解 Spark Shuffle 内存使用

在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢?

2019-06-06 15:22:07

Spark Shuffle 内存

Spark 静态内存管理详解

spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。sspark提供两种内存分配模式：静态内存管理和动态内存管理。

2019-05-30 11:04:52

内存 Spark 管理

美团是如何应用Spark处理大数据的？

美团最初的数据处理以Hive SQL为主，底层计算引擎为MapReduce，部分相对复杂的业务会由工程师编写MapReduce程序实现。

2019-05-29 10:42:06

大数据 IT 人工智能

大数据：学Hadoop好还是Spark好？

相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种平台的比较与选择吧，看看对于工作和发展，到底哪个更好。

2019-04-24 13:07:16

Hadoop Spark 分布式架构

大数据开发：剖析Hadoop和Spark的Shuffle过程差异

本文旨在剖析Hadoop和Spark的Shuffle过程，并对比两者Shuffle的差异。Shuffle描述的是数据从Map端到Reduce端的过程，大致分为排序(sort)、溢写(spill)、合并(merge)、拉取拷贝(Copy)、合并排序(merge sort)这几个过程。

2019-04-22 15:24:24

Hadoop Suffle Map端

一篇文章看懂 Spark RDD

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。它产生于 UC Berkeley AMP Lab，继承了 MapReduce 的优点，但是不同于 MapReduce 的是，Spark 可以将结果保存在内存中，一直迭代计算下去，除非遇到 shuffle 。

2019-04-17 15:16:00

Spark shuffle 算法

从源码解密Spark内存管理

我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-04-17 14:44:42

Spark 内存源码

大数据计算框架Spark之任务调度

Spark有几种资源调度设施。每个Spark Application(SparkContext实例)独立地运行在一组executor进程内。cluster manager为应用间的调度提供设施。在每个Spark应用内，如果将多个job(多个spark action)提交给不同的线程，那么他们会并行运行

2019-04-08 17:11:46

大数据框架 Spark

大数据的技术生态？Hadoop、Hive、Spark之间是什么关系？

大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。

2019-03-12 11:12:50

大数据 Hadoop Spark

Spark 静态内存管理详解

spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。spark提供两种内存分配模式：静态内存管理和动态内存管理。

2018-12-18 14:37:26

Spark 内存管理

用Spark 来做大规模图形挖掘：第一部分

对于数据科学家，图形是一个非常令人着迷的研究课题，标记数据的方法在处理机器学习问题并不总是有效。图形在无监督上下文中非常强大，因为它们通过利用数据的基础子结构来充分利用您拥有的数据。

2018-11-15 14:52:15

Spark 数据机器学习

Apache Kafka与Spark Streaming的两种整合方法及其优缺点译文

我们在将Apache Kafka与Spark Streaming整合的实战过程中，一般可以选用两种方面来配置Spark Streaming，并接收来自Kafka的数据。第一种是利用接收器和Kafka的高级API;而第二种新的方法则并不使用接收器。这两种方法在性能特征和语义保持上，有着不同的编程模式。

2018-10-24 09:00:26

Kafka Spark 数据

Adaptive Execution 让 Spark SQL 更智能更高效

本文介绍的 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点,执行计划可动态调整、调整的依据是中间结果的精确统计信息。

2018-10-23 15:20:29

Spark Shuffle Spark SQL

比拼生态和未来，Spark和Flink哪家强？

Spark 和 Flink 都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。

2018-10-15 15:12:12

Spakr Flink 大数据

大数据干货 | 论Spark高手是怎样炼成的

大数据的处理怎么能变快一点，答案是请用spark，因为它是基于内存的，可以有效减少数据的落地次数。Spark性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。

2018-10-12 14:26:04

Spark Spark框架 Scala

Spark灰度发布在十万级节点上的实践

本文介绍了顶级互联网公司数万节点下 Spark 的 CI 与 CD & CD 灰度发布实践。包含如何维护源代码，如何维护 Release 多版本，开发版与正式版，以及如何实现灰度发布，如何进行 hotfix 等。为了提高本文内容的可借鉴性，隐去了公司特有内容，只保留通用部分。

2018-10-09 14:31:32

Spark CI 灰度

高性能Spark作业基础：你必须知道的调优原则及建议

笔者根据之前的Spark作业开发经验以及实践积累，总结出了一套Spark作业的性能优化方案。本文作为Spark性能优化指南的基础篇，主要讲解开发调优以及资源调优。

2018-08-24 07:17:41

Spark 大数据调优

Apache Spark 统一内存管理模型详解

本文将对 Spark 的内存管理模型进行分析，下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。

2018-08-09 11:06:39

Apache Spar 内存模型

对Spark的那些【魔改】

这两年做 streamingpro 时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。

2018-08-06 12:10:57

Spark RPC Server 代码

大数据处理引擎Spark与Flink大比拼

正在Spark如日中天高速发展的时候，2016年左右Flink开始进入大众的视野并逐渐广为人知。为什么呢?原来在人们开始使用Spark之后，发现Spark虽然支持各种常见场景，但并不是每一种都同样好用。而Flink凭借更优的流处理引擎，同时也支持各种处理场景，成为Spark的有力挑战者。

2018-07-25 15:31:51

Spark Flink 大数据

Spark性能优化：开发调优篇

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。本文作为Spark性能优化指南的基础篇，主要讲解开发调优以及资源调优。

2018-07-18 12:12:20

Spark 大数据代码

机器学习实践：如何将Spark与Python结合？

Apache Spark是处理和使用大数据最广泛的框架之一，Python是数据分析、机器学习等领域最广泛使用的编程语言之一。如果想要获得更棒的机器学习能力，为什么不将Spark和Python一起使用呢?

2018-06-23 13:55:15

Apache Spar Python 数据

还不收藏？Spark动态内存管理源码解析！

Spark有两种内存管理模式，静态内存管理(Static MemoryManager)和动态（统一）内存管理（Unified MemoryManager）。动态内存管理从Spark1.6开始引入，在SparkEnv.scala中的源码可以看到，Spark目前默认采用动态内存管理模式，若将spark.memory.useLegacyMode设置为true，则会改为采用静态内存管理。

2018-06-06 08:28:37

Spark 内存管理

深度:Hadoop对Spark五大维度正面比拼报告！

为了增加混淆，Spark和Hadoop经常与位于HDFS，Hadoop文件系统中的Spark处理数据一起工作。但是，它们都是独立个体，每一个体都有自己的优点和缺点以及特定的商业案例。本文将从以下几个角度对Spark和Hadoop进行对比：体系结构，性能，成本，安全性和机器学习。

2018-06-04 11:28:49

Hadoop Spark 数据

如何在万亿级别规模的数据量上使用 Spark？

Spark 作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于 Spark 的理解，希望能给读者一些学习的思路。

2018-06-01 09:42:43

数据 Spark 规模

一文理清Apache Spark内存管理脉络

本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。

2018-05-31 20:49:50

Spark 堆内内存优化机制

Spark调优的关键—RDD Cache缓存使用详解

Spark的开发调优有一个原则，即对多次使用的RDD进行持久化。如果要对一个RDD进行持久化，只要对这个RDD调用cache()和persist()即可。

2018-05-28 08:54:45

Spark RDD Cache 缓存

Spark的误解-不仅Spark是内存计算，Hadoop也是内存计算

市面上有一些初学者的误解，他们拿Spark和Hadoop比较时就会说，Spark是内存计算，内存计算是Spark的特性。请问在计算机领域，MySQL,Redis,SSH框架等等他们不是内存计算吗？依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供CPU进行执行？

2018-05-10 09:51:39

Spark 内存 Hadoop

spark 自己的分布式存储系统 - BlockManager

BlockManager 是 spark 中至关重要的一个组件，在 spark的的运行过程中到处都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和机制，你才能更加深入的理解 spark。今天我们来揭开 BlockaManager 的底层原理和设计思路，

2018-05-10 09:34:21

spark 存储系统

从术语到Spark，10篇必读大数据学习资源

本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。

2018-05-06 16:59:14

大数据 python 数据可视化

大数据有道之spark选择去重

spark是基于内存运算的大数据分布式并行计算框架，本身具有丰富的API，可实现与HDFS、HBase、Hive、Kafka、Elasticsearch、Druid等组件的交互，同时也是优秀的MapReduce替代方案。

2018-04-25 08:45:46

Spark streaming中持久保存的RDD/有状态的内存

以spark streaming为例，就是希望有个数据集能够在当前批次中更新，再下个批次后又可以继续访问。一个最简单的实现是在driver的内存中，我们可以自行保存一个大的内存结构。这种hack的方式就是我们无法利用spark提供的分布式计算的能力。

2018-04-18 08:54:28

RDD 内存 Spark

大数据之谜Spark基础篇，核心RDD特征分析讲解

RDD(Resilient Distributed Datasets)弹性分布式数据集，是分布式内存的一个抽象概念。我们可以抽象的代表对应一个HDFS上的文件，但是他实际上是被分区的，分为多个分区撒落在Spark集群中的不同节点上。

2018-04-17 09:03:01

Spark RDD 大数据

Spark及Spark Streaming核心原理及实践

本文依次从spark生态，原理，基本概念，spark streaming原理及实践，还有spark调优以及环境搭建等方面进行介绍，希望对大家有所帮助。

2018-04-09 12:25:11

Spark Spark Strea 大数据

思科Spark Room 70搭载全球首款基于AI的会议语音助手，全新登场

思科作为在会议领域中推进人工智能应用的思想领袖和技术先驱，自上世纪90年代至今，在AI发展的每个阶段中，始终以行业领导者的姿态推动AI创新与发展。

2018-03-22 14:44:48

Spark核心技术原理透视一（Spark运行原理）

在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。

2018-03-21 11:05:26

Spark 大数据应用程序

Apache Spark 2.3重要特性介绍

为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入了低延迟的连续处理(continuous processing)等。

2018-03-05 17:29:52

Spark Apache Spar Spark 2.3

Hadoop进入寒冬期，崛起的会是Spark吗?

年初的调查中，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，Gartner的调查也揭示了Hadoop使用量的下滑，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。如果Hadoop开始进入寒冬期，率先崛起的会是呼声最高的Spark吗?

2018-03-01 14:56:11

Hadoop Spark 大数据

外媒速递：Hadoop对Spark的正面比拼报告原创

每一年，市场上都持续出现各类拥有不同数据管理规模、类型与速度表现的分布式系统。在这类方案当中，Hadoop与Spark无疑是最令人瞩目的两款。然而，二者到底孰强孰弱?

2018-03-01 08:39:34

Hadoop Spark 加密货币

一个Spark缓存的使用示例

之前一直不是非常理解Spark的缓存应该如何使用. 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果。关于Cache的一些理论介绍, 网上已经很多了. 但是貌似也没有一个简单的例子说明。

2018-02-08 18:00:49

Spark 文件测试

Apache Spark中的决策树

Apache Spark中没有决策树的实现可能听起来很奇怪。然而从技术上来说是有的。在Apache Spark中，您可以找到一个随机森林算法的实现，该算法实现可以由用户指定树的数量。因此，Apache Spark使用一棵树来调用随机森林。

2018-02-02 15:50:07

决策树 Apache Spar 数据

基于Hadoop生态SparkStreaming的大数据实时流处理平台的搭建

本人准备开始着手改造原系统中的数据处理方式，重新搭建一个实时流处理平台，主要是基于hadoop生态，利用Kafka作为中转，SparkStreaming框架实时获取数据并清洗，将结果多维度的存储进HBase数据库。

2018-01-31 21:26:48

Hadoop SparkStream 大数据

平安科技与SparkLabs联合发布全球金融科技加速器

2018-01-24 17:38:26

大数据处理为何选择Spark，而不是Hadoop

Spark是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。

2018-01-22 08:33:28

Spark Hadoop 计算

Hadoop和Spark之间有什么区别，现工业界都在使用何种技术?

谈到大数据，相信大家对hadoop和Apache Spark这两个名字并不陌生。然而，最近业界有一些人正在大张旗鼓的宣扬Hadoop将死，Spark将立。他们究竟是危言耸听?哗众取宠?还是眼光独到堪破未来呢?与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?如果现在想要参加大数据培训的话，应该从哪一种开始呢?

2017-12-27 14:39:07

Hadoop Spark 大数据

从源码看Spark读取Hive表数据小文件和分块的问题

本文涉及源码基于Spark2.0.0和Hadoop2.6.0，不同版本代码可能不一致，需自己对应。此外针对TextInputFormat格式的Hive表，其他格式的比如Parquet有Spark自己的高效实现，不在讨论范围之内

2017-12-21 11:19:40

Spark Hive表 HadoopRDD

如何提高Spark姿势水平

本文的依据是我学习整个Spark的学习历程。在这里，我会从几个方面来跟大家一起讨论。Spark 是什么？Spark 跟 Hadoop 有什么渊源？Spark 有哪些方便的组件？什么场景下用 Spark ，如何使用？以及用什么样的姿势来学习 Spark 会比较好？

2017-12-12 16:43:54

Spark Hadoop 水平

上一页 1 2 3 4 5 6 ··· 8 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营