鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 353 条

大数据基础架构Hadoop，终于有人讲明白了

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。Kafka是一个事件流平台，能够连接其他数据源进行持续的数据导入或导出，并且可以根据需求持久可靠地存储数据。

2022-10-14 18:22:18

Kafka Hive ZooKeeper

Spark SQL 字段血缘在 vivo 互联网的实践

字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢?有了字段间的血缘关系，便可以知道数据的来源去处，以及字段之间的转换关系，这样对数据的质量，治理有很大的帮助。

2022-04-21 08:09:18

Spark 字段血缘 Spark SQL

Spark的两种核心Shuffle详解

Spark Shuffle 分为两种：一种是基于 Hash 的 Shuffle；另一种是基于 Sort 的 Shuffle。先介绍下它们的发展历程，有助于我们更好的理解 Shuffle。

2022-03-15 08:25:32

Spark Shuffle 框架

SparkSQL 在企业级数仓建设的优势原创精选

随着企业的业务发展越来越复杂，需要更加灵活、更加高效的数仓架构，在这样的业务驱动背景下，Hive 的局限变得越来越明显，而基于 Spark SQL 灵活构建数仓的方案将会变得越来越主流。

2022-03-09 16:53:38

Hive Spark SQL 数据湖

Spark 数据倾斜及其解决方案

『不患多而患不均』，这是分布式环境下最大的问题。意味着计算能力不是线性扩展的，而是存在短板效应: 一个 Stage 所耗费的时间，是由最慢的那个 Task 决定。

2022-02-23 12:07:20

分布式 Spark 数据倾斜

Spark查询太慢？试试这款 Mpp 数据库吧！

Greenplum数据库是基于MPP架构的开源大数据平台，具有良好的弹性和线性扩展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容SQL标准，具有强大、高效的PB级数据存储、处理和实时分析能力，同时支持涵盖OLTP型业务的混合负载，可部署于企业裸机、容器、私有云和公有云中，已为全球金融、电信、制造等行业核心生产系统提供支撑。

2022-01-06 08:34:32

数据库 Spark查询

Spark 性能调优核心原理，你会吗？

所谓内存计算，不仅仅是指数据可以缓存在内存中，更重要的是，通过计算的融合来大幅提升数据在内存中的转换效率，进而从整体上提升应用的执行性能。

2021-12-26 00:03:25

Spark 性能调优

比较Hadoop、Spark和Kafka大数据框架

大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的趋势是实时处理来自多个源的数据。

2021-12-14 09:56:51

Hadoop Spark Kafka

Spark 架构设计与原理思想

Spark 在 MapReduce 的基础上进行了改进，它主要使用内存进行中间计算数据存储，加快了计算执行时间，在某些情况下性能可以提升百倍。

2021-11-11 10:48:35

架构运维技术

华为云发布SparkRTC实时音视频服务，使能全球客户业务创新

音频和视频的全球网络服务已成为很多数字化应用的基本需求，华为云SparkRTC实时音视频服务，将华为30多年来在音视频编解码

2021-09-23 19:25:40

终于有人将Spark的技术框架讲明白了

Spark是加州大学伯克利分校的AMP实验室开源的类似MapReduce的通用并行计算框架，拥有MapReduce所具备的分布式计算的优点。但不同于MapReduce的是，Spark更多地采用内存计算，减少了磁盘读写，比MapReduce性能更高。

2021-09-14 18:27:08

Hadoop、Spark、Hive到底是什么，做算法要不要学？

最近我发现，很多萌新说着想要做算法工程师，但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python，再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。

2021-09-09 15:09:56

Hadoop Spark Hive

面试 | 十分钟聊透Spark

Spark是一个快速的大数据处理引擎，在实际的生产环境中，应用十分广泛。目前，Spark仍然是大数据开发非常重要的一个工具，所以在面试的过程中，Spark也会是被重点考察的对象。

2021-09-07 09:40:20

Spark 大数据引擎

Spark ON Yarn的资源分配图解

在Spark中，执行内存和存储内存共享一个统一的区域。当没有使用执行内存时，存储内存可以获取所有可用内存，反之亦然。如有必要，执行内存可以占用存储存储，但仅限于总存储内存使用量低于某个阈值。

2021-08-31 23:09:27

Spark 资源分配

分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践

以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 生态的 k8s 原生 scheduler 以及周边资源调度器，比如 Volcano 和 Yunikorn 等。这篇文章简单比较一下两种计算框架在 Native Kubernetes 的支持和实现上的异同，以及对于应用到生产环境我们还需要做些什么。

2021-08-30 10:28:09

Flink Spark on k8 分布式

使用Spark Streaming转换不同的JSON有效负载译文

使用 Spark Streaming，你只需要从数据源创建一个读流，这样就可以创建写入流将数据加载到目标数据源中。

2021-08-20 16:37:42

Spark Spark Strea

Spark的两种核心Shuffle详解

在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，

2021-08-11 06:57:16

Shuffle Spark 核心

如何在Kubernetes上运行Apache Spark 译文

Empathy公司平台工程技术负责人Ramiro Alvarez Fernandez对于如何在Kubernetes上使用Spark以摆脱对云计算提供商的依赖，以及在Kubernetes上运行Apache Spark进行了介绍，并分享了这一过程的挑战、架构和解决方案等详细信息。

2021-08-09 09:00:00

Kubernetes 云计算架构

用Spark，Kafka和k8s构建下一代数据管道译文

本文检查了架构模式，并提供了一些示例代码供读者在自己的环境中实现。

2021-08-06 09:47:43

架构开发数据集成

EnginePlus受邀参加亚马逊云科技中国峰会分享Spark on Amazon EKS实践经验

亚马逊云科技中国峰会在上海召开。亚马逊云科技的众多技术合作伙伴受邀出席峰会，围绕“构建新格局，重塑云时代”的主题，进行了系列主题演讲和产品展示，分享云计算领域的先进技术经验与企业成功实践。

2021-07-30 17:11:21

EnginePlus 亚马逊云科技

MaxCompute Spark 资源使用优化祥解

本文主要讲解MaxCompute Spark资源调优，目的在于在保证Spark任务正常运行的前提下，指导用户更好地对Spark作业资源使用进行优化，极大化利用资源，降低成本。

2021-07-27 15:56:28

MaxCompute 资源优化

痛苦调优10小时，我把 Spark 脚本运行时间从15小时缩短到12分钟！

周一我就有个困惑，还写成文章了：如何从 Spark 的 DataFrame 中取出具体某一行，里面提了自己猜想的几种解决方案没想到这么快就要面对这个问题了，我用小孩子都听得懂的例子描述一下我在干什么。

2021-07-21 07:55:22

Spark 大数据处理最佳实践

本文主要案例介绍如何利用Spark 大数据技术。

2021-07-20 15:37:37

数据开发大数据 Spark

如何从 Spark 的 DataFrame 中取出具体某一行？

Spark 中 DataFrame 是 RDD 的扩展，限于其分布式与弹性内存特性，我们没法直接进行类似 df.iloc(r, c) 的操作来取出其某一行。

2021-07-19 07:58:02

Spark DataFrame 分布式

Spark Streaming精进之前必须了解的基本概念

Spark是一个快速的，多用途的计算系统。这是来自官网的自我介绍。一般敢自称系统的都是有两把刷子的，况且还是多用途的计算系统。Spark计算系统包含如下功能组件。

2021-07-09 10:27:12

Spark Streaming 系统

在Spark中，什么叫内存计算?

由于计算的融合只发生在 Stages 内部，而 Shuffle 是切割 Stages 的边界，因此一旦发生 Shuffle，内存计算的代码融合就会中断。

2021-06-15 07:04:59

内存 Spark Stages

阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

2021-06-08 09:45:46

大数据云原生 EMR Spark o

SQL、Pandas和Spark：如何实现数据透视表？

今天本文就围绕数据透视表，介绍一下其在SQL、Pandas和Spark中的基本操作与使用，这也是沿承这一系列的文章之一。

2021-06-08 09:18:54

SQL Pandas 数据透视表

通过扩展 Spark SQL ，打造自己的大数据分析引擎

Spark SQL 的 Catalyst ，这部分真的很有意思，值得去仔细研究一番，今天先来说说Spark的一些扩展机制吧，上一次写Spark，对其SQL的解析进行了一定的魔改，今天我们按套路来，使用砖厂为我们提供的机制，来扩展Spark...

2021-06-06 19:03:25

SQL 大数据 Spark

SparkStreaming项目实战，实时计算Pv和Uv

日志数据从flume采集过来，落到hdfs供其它离线业务使用，也会sink到kafka，sparkStreaming从kafka拉数据过来，计算pv,uv，uv是用的redis的set集合去重，最后把结果写入mysql数据库，供前端展示使用。

2021-06-03 08:10:30

SparkStream 项目 Uv

扩展 Spark SQL 解析，你知道吗?

大家好久不见了，最近生活发生了很多变故，同时我也大病了一场，希望一切都尽快好起来吧。今天跟大家分享下Spark吧，谈谈如何修改Spark SQL解析，让其更符合你的业务逻辑。好，我们开始吧...

2021-04-20 23:16:06

Spark SQL 语法

SQL、Pandas和Spark：这个库，实现了三大数据分析工具的大一统

由于Spark是基于Scala语言实现的大数据组件，而Scala语言又是运行在JVM虚拟机上的，所以Spark自然依赖JDK，截止目前为止JDK8依然可用，而且几乎是安装各大数据组件时的首选。所以搭建pyspark环境首先需要安装JDK8，而后这里介绍两种方式搭建pyspark运行环境。

2021-04-18 22:18:39

SQL 数据分析工具

Hive 和 Spark的爱恨情仇恩怨交织

spark是一个通用的处理大规模数据的分析引擎，即 spark 是一个计算引擎，而不是存储引擎，其本身并不负责数据存储。

2021-04-12 06:08:16

Hive Spark 大数据

SQL、Pandas和Spark：常用数据查询操作对比

当今信息时代，数据堪称是最宝贵的资源。沿承系列文章，本文对SQL、Pandas和Spark这3个常用的数据处理工具进行对比，主要围绕数据查询的主要操作展开。

2021-04-09 23:00:12

SQL 数据库 Pandas

上万字详解Spark Core

Spark 产生之前，已经有MapReduce这类非常成熟的计算系统存在了，并提供了高层次的API(map/reduce)，把计算运行在集群中并提供容错能力，从而实现分布式计算。

2021-03-16 08:21:29

Spark 系统并行

大数据开发：Spark入门详解

众所周知，Spark 它是专门为大规模数据处理而设计的快速通用计算引擎，因此Spark它在数据的挖掘等领域便有着非常广泛的应用，而从现阶段来讲的话它也已经形成了一个高速发展并且应用相当广泛的生态系统了。所以，今天这篇文章便要为大家做一个Spark入门基础的简单介绍，满满干货，请不要错过。

2021-03-15 14:02:21

大数据数据开发 Spark

Spark性能调优-RDD算子调优篇

Java的序列化机制使用方便，不需要额外的配置，在算子中使用的变量实现Serializable接口即可，但是，Java序列化机制的效率不高，序列化速度慢并且序列化后的数据所占用的空间依然较大。

2021-03-04 08:39:21

Spark RDD 调优

Kubernetes上的Spark变得轻松

如果您正在寻找关于Kubernetes上的Spark的高级介绍，请签出在Kubernetes上运行Spark的优缺点，如果您正在寻找更深的技术潜水，那么阅读我们的指南设置，管理和监控Spark在kubernetes上。

2021-02-19 09:20:04

Kubernetes Spark 云帐户

Check Point Quantum Spark 安全网关助力中小型企业抵御高级网络威胁

Quantum Spark 网关不仅可以为用户提供千兆以太网、WiFi 和集成式 LTE 蜂窝调制解调器等广泛的连接选项，而且还支持多个互联网服务提供商和基于性能的路由，从而为应用提供非凡的带宽和服务质量。

2021-02-04 11:10:02

比Pandas 更好的替代？PySpark,Julia等对比

表格是存储数据的最典型方式，在Python环境中没有比Pandas更好的工具来操作数据表了。尽管Pandas具有广泛的能力，但它还是有局限性的。比如，如果数据集超过了内存的大小，就必须选择一种替代方法。

2021-01-28 12:08:17

数据工具技术

鸿蒙HiSpark IPC DIY摄像头开发套件开箱报告

文章由鸿蒙社区产出，想要了解更多内容请前往：51CTO和华为官方战略合作共建的鸿蒙技术社区https://harmonyos.51cto.com/#zz

2021-01-26 14:27:21

鸿蒙 HarmonyOS 应用

数据分析工具篇——Spark计算原理

Hadoop的MR结构和YARN结构是大数据时代的第一代产品，满足了大家在离线计算上的需求，但是针对实时运算却存在不足，为满足这一需求，后来的大佬研发了spark计算方法，大大的提高了运算效率。

2021-01-25 20:20:35

数据分析 Spark Hadoop

图文理解 Spark 3.0 的动态分区裁剪优化

Spark 3.0 为我们带来了许多令人期待的特性。动态分区裁剪(dynamic partition pruning)就是其中之一。本文将通过图文的形式来带大家理解什么是动态分区裁剪。

2021-01-08 05:22:47

Spark 动态优化

大数据基础：Spark工作原理及基础概念

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法,可用来构建大型的、低延迟的数据分析应用程序.让我们详细的了解Spark吧！

2020-12-04 14:31:45

大数据 Spark

【鸿蒙HarmonyOS HiSpark IPC DIY Camera】hi3518-wifi的配置与使用

主要是修改和3518相关的wpa_supplicant.conf hostapd.conf 两个文件，对wifi相关的ssid、passwd等进行配置

2020-11-20 13:53:40

Spark刷爆磁盘与Java弱引用的关系

今天，给大家分享下。Java的引用在大数据框架下的引用案例。

2020-11-11 08:55:32

Spark Java 磁盘

【鸿蒙开发板试用报告】HiSpark Wi-Fi IoT智能家居套件之云服务器篇

由于samba工具服务端口445继勒索病毒“永恒之蓝”被封，与WINDOWS远程共享文件受阻，但又想利用云服务器资源进行代码编译，经测试本方法稳定高效。

2020-11-04 13:20:14

鸿蒙HiSpark Wi-Fi IoT开发套件试用02（开发环境）

文章由鸿蒙社区产出，想要了解更多内容请前往：51CTO和华为官方战略合作共建的鸿蒙技术社区https://harmonyos.51cto.com/#zz

2020-10-30 17:57:11

【开发板试用报告】开始试玩HiSpark Wi-Fi IoT开发套件

试用报告，虽迟但到。陈放了一周多的套件，本人今天终于挤空出来，开始研究~

2020-10-23 09:50:15

HiSpark Wi-开发套件

【开发板试用报告】HiSpark Wi-FiIoT智能家居套件开箱试用报告

今天终于收到了开发板，就是咱们大名鼎鼎的HiSpark Wi-Fi IoT智能家居套件，心里那个开心啊，感谢51CTO组织这么棒的活动。激动的心颤抖的手，小心翼翼开箱，盒子简洁又高端，满满的设计感。

2020-10-21 10:01:47

HiSpark Wi-智能家居套件

1 2 3 4 5 6 ··· 8 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营