鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 70 条

【Pyspark】常用数据分析基础操作

文章目录零、准备工作0.1 安装pyspark一、pyspark.sql部分1.窗口函数2.更换列名：3.sql将一个字段根据某个字符拆分成多个字段显示4.pd和spark的dataframe进行转换

2023-04-14 16:42:26

数据分析 pyspark 特征工程

数据测试实践：从一个bug开始的大数据引擎兼容性探索

在大数据时代，精准而有效的数据对于每个致力于长期发展的组织来说都是重要资产之一，而数据测试更是不可或缺的一部分。数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性差异的探索。

2023-03-07 11:32:05

Hive 大数据数据测试

Spark数据清洗【时间数据处理】

spark处理日期数据全解

2023-03-06 12:14:17

spark 日期时间毫秒级时间戳

Spark Shuffle解析

1 Shuffle的核心要点1.1 ShuffleMapStage与ResultStage图ShuffleMapStage与ResultStage在划分stage时，最后一个stage称为finalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。ShuffleMapStage的结束伴随着shuffle文件的写磁盘。ResultStag

2023-01-31 09:09:34

数据运行机制数据结构

Spark 通讯架构和调度

1、Spark 通讯架构1.1 Spark通信架构概述Spark2.x版本使用Netty通讯框架作为内部通讯组件。spark 基于netty新的rpc框架借鉴了Akka的中的设计，它是基于Actor模型，如下图所示：图 Actor模型Spark通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实体，各个实体之间通过消息来进行通信。具体各个组件之间的关系图如下：图

2023-01-30 14:18:38

调度策略数据任务调度

大数据Zookeeper-01.单机环境安装

Zookeeper单机环境安装

2023-01-17 17:04:06

Zookeeper 大数据数据分析

Hudi Upsert原理

2022-11-24 10:07:15

数据加载 spark

【Web开发】Python实现Web仪表盘功能（Grafana）

Grafana是一个开源的，拥有丰富dashboard和图表编辑的指标分析平台，

2022-11-05 22:38:55

python web server grafana

SQL进阶篇之函数

SQL 拥有很多可用于计数和计算的内建函数，他们可以让数据统计工作更加便利

2022-10-21 00:40:10

sql 结果集函数返回

SQL进阶篇之高级应用

在实际的数据库使用中，除了CRUD，还有很多高级应用值得学习和掌握，能够在平时的工作中得到很多便利

2022-10-19 04:15:11

sql 数据类型结果集

阿里云大数据开发一面面经，已过，面试题已配答案

阿里云大数据开发一面面经，已过，面试题已配答案

2022-10-18 12:25:24

spark hadoop 大数据开发面试题

Spark常规性能调优（一）

1、常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如代码清单所示/usr/opt/modules/spark/bin/spark-submit \ --c

2022-10-15 22:13:15

spark 数据持久化

SQL进阶篇之多表联查

在实际开发过程中，随着产品迭代，多表联查无法避免

2022-10-14 17:31:43

sql 结果集主键

SQL进阶篇之约束(Constraints)

约束用于限制加入表的数据的类型，可以在创建表时规定约束(通过 CREATE TABLE 语句)，或者在表创建之后也可以(通过 ALTER TABLE 语句)

2022-10-14 15:17:40

sql oracle mysql

Spark常见数据倾斜情况及调优方案

1、数据倾斜Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题例如，reduce点一共要处理100万条数据，第一个和第二个task分别被分配到了1万条数据，计算5分钟内完成，第三个task分配到了98万数据，此时第三个task可能需要10个小时完成，这使得整个Spark作业需要10个小时才能运行完成，

2022-10-14 12:01:57

数据倾斜数据 spark

Spark Troubleshooting

1、故障排除一：控制reduce端缓冲大小以避免OOM在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取，而是map端写一点数据，reduce端task就会拉取一小部分数据，然后立即进行后面的聚合、算子函数的使用等操作reduce端task能够拉取多少数据，由reduce拉取数据的缓冲区buffer来决定，因为拉取过来的数据都是先放在buffer中

2022-10-13 00:28:55

数据 spark 故障排除

【设计模式】【第五章】【开具增值税发票】【建造者模式 + 原型模式】

【设计模式】【开具增值税发票】【建造者模式 + 原型模式】

2022-10-03 10:51:09

设计模式建造者模式原型模式

Spark面试题——Spark容错机制

问过的一些公司：头条，字节，阿里 x 3，腾讯，竞技世界参考答案：1、容错方式容错指的是一个系统在部分模块出现故障时还能否持续的对外提供服务，一个高可用的系统应该具有很高的容错性；对于一个大的集群系统来说，机器故障、网络异常等都是很常见的，Spark这样的大型分布式计算集群提供了很多的容错机制来提高整个系统的可用性。一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模

2022-09-04 09:33:19

大数据大数据开发面试题

docker下的spark集群，调整参数榨干硬件

调整docker-compose编排的参数，充分发挥硬件信息能运行spark集群

2022-08-20 00:04:03

hadoop spark docker

spark实战之：分析维基百科网站统计数据(java版)

在《寻找海量数据集用于大数据开发实战(维基百科网站统计数据)》一文中，我们了解了如何获取维基百科网站的网页点击量统计数据，并且介绍了数据格式的基本内容，本文以这些数据进行实战，练习基本的spark开发

2022-08-19 00:08:03

spark hadoop java

docker下，极速搭建spark集群(含hdfs集群)

搭建spark和hdfs的集群环境会消耗一些时间和精力，今天咱们就借助docker，极速搭建和体验spark和hdfs的集群环境

2022-08-17 00:04:38

spark docker hdfs

第一个spark应用开发详解(java版)

java版的spark应用开发

2022-08-12 07:13:26

spark java hdfs

领域驱动设计系列贫血模型和充血模型

使用领域驱动设计至少会带来下述优点：业务逻辑被合理的分散到不同的领域对象中，代码结构更加清晰，可读性，可维护性更高；对象职责更加单一，内聚度更高；复杂的业务模型可以通过领域建模（UML是一种主要方式）清晰的表达，开发人员甚至可以在不读源码的情况下就能了解业务和系统结构，这有利于对现存的系统进行维护和迭代开发；系统高度模块化，代码重用度高，不会出现太多的重复逻辑。

2022-08-08 13:49:11

事件流 java 迭代

推荐系统-协同过滤在Spark中的实现

本文以经典的协同过滤为切入点，重点介绍了被工业界广泛使用的矩阵分解算法，从理论与实践两个维度介绍了该算法的原理，通俗易懂，希望能够给大家带来一些启发。

2022-07-25 09:33:44

spark 协同过滤推荐系统

基于Spark+Grafana可视化电商项目实战，好文收藏~

原创肝文！基于Spark+Grafana可视化电商项目实战

2022-05-25 14:30:24

spark sql 数据分析

干货！！基于Spark Graph的社交关系图谱项目实战

原创干货，基于spark graphframes图计算的社交关系图谱

2022-05-05 08:46:14

spark 图计算社交关系图谱

深入理解Spark原理，从性能优化入手

1 Spark任务文件初始化调优首先进行性能测试，发现这个视频图谱N度级联关系应用分为5个job，最后一个job为保存结果到HDFS，其余job为同样计算过程的反复迭代。但是发现第一个job比其他job又多了个计算阶段stage，如图中红圈所示。通过阅读程序代码，发现第一个job需要初始化一个空数组，从而产生了一个stage，但是这个stage在性能测试结果上显示，花费了14秒的时间，远远超出合理

2022-04-29 22:40:14

服务器 spark 网络通信

Spark SQL 字段血缘在 vivo 互联网的实践

字段血缘可以很好的帮助我们了解数据生成的处理过程，在探索中我们发现了可以通过Spark的扩展来优雅的实现这一功能

2022-04-25 10:15:07

sql spark sparksql

最强Flink算子大全手册，面试拿捏了~

Flink基于流编程模型，内置了很多强大功能的算子，可以帮助我们快速开发应用程序。特此整理Flink算子手册，赶快拿去！

2022-03-01 21:43:20

flink scala 面试

第02讲：Flink 入门程序 WordCount 和 SQL 实现

Flink系列文章

2022-02-10 21:59:52

漫画趣解Flink实时数仓

Flink实时数仓架构一文打尽

2022-01-28 23:36:57

flink 实时数仓

我是Flink，现在"背"感压力~

我是Flink，现在“背”感压力，我太难了~

2022-01-19 21:18:44

flink kafka 实时计算

万字长文玩转Spark面试: 进大厂必看！#yyds干货盘点#

大数据Spark大厂面试一条龙，硬核干货~

2022-01-12 00:06:23

spark 实时计算大数据

万字详解实时计算一致性机制：对比Flink和Spark#yyds干货盘点#

海量数据实时计算：Spark和Flink引擎是如何保证Exactly-Once一致性？

2022-01-11 07:48:20

spark 数据 kafka

YYDS|不得不看的Spark内存管理机制

万字最全Spark内存管理深度剖析

2022-01-09 11:00:37

spark 内存管理实时计算

十分钟手撕Flink双流JOIN面试

某年某日某君，于某都面试，为Flink双流JOIN所惑~ 有感而发，遂下笔，为君解惑~

2022-01-04 22:53:30

Flink 大数据程序员

OPPO大数据离线计算平台架构演进

OPPO大数据离线计算平台演进道路上，遇到了很多经典的大数据问题，比如说：shuffle失败、小文件问题、元数据切分、多集群资源协调、spark 任务提交门户建设。OPPO大数据离线计算平台团队依托自身的资源和技术，不断探索，务实的解决平台发展中遇到的各种问题。本文围绕前面提到的五个问题，逐步介绍我们的大数据平台演进之路。

2021-12-22 15:32:33

大数据 spark yarn

「Spark 从精通到重新入门(二)」Spark 中不可不知的动态资源分配

资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor，可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中，无论 Executor上是否有 task 在执行，都会被一直占有直到此 Spark 应用结束。

2021-12-15 13:44:25

spark sql 动态分配

万字详解 Spark 数据倾斜及解决方案

本文目录：一、调优概述\二、数据倾斜发生时的现象\三、数据倾斜发生的原理\四、如何定位导致数据倾斜的代码\五、某个task执行特别慢的情况\六、某个task莫名其妙内存溢出的情况\七、查看导致数据倾斜的key的数据分布情况\八、数据倾斜的解决方案：解决方案一：使用HiveETL预处理数据解决方案二：过滤少数导致倾斜的key解决方案三：提高shuffle操作的并行度解决方案四：两阶段聚合（局部聚合+

2021-12-06 10:56:01

数据数据倾斜 spark

大数据面试吹牛草稿V2.0

面试吹牛之前先打个草稿！各位面试官好!本文首发于微信公众号【五分钟学大数据】，公众号上有很多大数据学习方法，学习文档，最全的大数据面试八股文等1.我叫xxx，毕业于xxx，之前在xxx公司待了1年多，期间⼀直从事的是IT行业，刚开始的时候做的是Java开发后来转岗到大数据方向做大数据开发;刚转行到大数据开发的时候开始比较困难的，大数据并不像Java那样⼀套框架基本可以搞定所有的问题，而是不同的业务

2021-12-01 16:55:31

kafka 大数据离线

Spark SQL知识点大全与实战

SparkSQL概述1、什么是SparkSQLSparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。与基本的SparkRDDAPI不同，SparkSQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。在内部，SparkSQL使用这些额外的信息去做一些额外的优化，有多种方式与SparkSQL进行交互，比如:SQL和DatasetAPI

2021-11-22 11:07:13

spark scala sql

Spark调优 | Spark OOM问题常见解决方式

Spark OOM 问题分析Spark常见的问题不外乎OOM。我们首先看一下Spark 的内存模型：Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。Execution内存是执行内存，文档中说join，aggregate都在这部分内存中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO。其实m

2021-11-19 08:48:22

spark 数据调优

Flink计算pv和uv的通用方法

PV(访问量)：即PageView,即页面浏览量或点击量，用户每次刷新即被计算一次。UV(独立访客)：即UniqueVisitor,访问您网站的一台电脑客户端为一个访客。00:0024:00内相同的客户端只被计算一次。计算网站App的实时pv和uv，是很常见的统计需求，这里提供通用的计算方法，不同的业务需求只需要小改即可拿来即用。需求利用Flink实时统计，从0点到当前的pv、uv。一、需求分析从

2021-11-01 11:26:25

Spark读取MongoDB数据的方法与优化

1.本文主要介绍了Spark读区MongoDB数据的方法及自定义分区抽取数据的优化方式

2021-10-28 10:36:53

Spark MongoDB 读取

Flink状态管理与状态一致性（超级详细）

!Flink状态(https://s4.51cto.com/images/blog/202110/26104419_61776b833c95936026.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5n

2021-10-26 10:49:12

Spark的两种核心Shuffle详解

在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能。 Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle 。文章都会首发在公众号【五

2021-09-05 10:53:34

用户路径分析之利器“桑基图”

本文带你走一遭，讲讲桑基图的前世今生，桑基图在互联网产品分析领域的应用，以及如何用python将一个常见埋点数据CSV文件做出漂亮的桑基图。

2021-07-10 21:36:04

面试系列五之项目涉及技术Spark

面试系列五之项目涉及技术Spark

2021-06-21 21:49:44

Note_Spark_Day02：Spark 基础环境

Spark Day02：Spark 基础环境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次课程内容回顾主要讲解2个方面的内容：Spark 框架概述和

2021-06-21 10:36:31

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）

0x00 教程内容0x01 进阶算子操作1. 创建RDD2. 转换算子3. 行动算子0x02 RDD的缓存与持久化1. 缓存与持久化的意义2. 缓存3. 持久化

2021-06-10 18:17:00

Spark教程 Spark

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营