鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 353 条

【HiSpark Wi-Fi IoT开发板试用报告】+开发板开箱硬件评测

这次收到了来自华为和51CTO提供的HiSpark Wi-Fi IoT智能家居套件，在这里本人表示非常感谢。所以今天对HiSpark Wi-Fi IoT智能家居套件进行一下简单的开箱，同时对硬件进行一下评测。

2020-10-20 09:32:43

HiSpark Wi-Fi IoT

关于HiSpark Wi-Fi IoT烧录固件问题，简单方法

利用HiBurn烧录鸿蒙.bin文件到Hi3861开发板,此方法非常简单！前提下载好相关的软件，以及编译好固件，这里我把固件和工具放出来！

2020-10-19 10:31:44

HiSpark Wi-烧录固件

小白成功申请一套HiSpark Wi-Fi IoT开发套件板，资料集合

此套件是鸿蒙官方合作伙伴润和出品--海思HiSpark开发套件。收到货迫不及待的开箱。

2020-10-15 09:53:55

iSpark Wi-F 开发套件板

第一批HiSpark Wi-Fi IoT开发板收到啦

先批量上图，因为在上班，晚上回家自己研究一下，然后再来更新

2020-10-13 10:01:00

HiSpark Wi-开发板

为何放弃数据库，Hive和Spark,偏偏选择Flink?

最近接手了一个融合日志的服务. 经过梳理, 我认为当前服务的设计上存在缺陷. 与 Leader 开会讨论后, 决定重新进行技术方案调研, 最终我们选择使用 Flink 重构了该服务。

2020-10-12 14:37:38

数据库 Hive Spark

如何实现Spark on Kubernetes？

大数据时代，以Oracle为代表的数据库中间件已经逐渐无法适应企业数字化转型的需求，Spark将会是比较好的大数据批处理引擎。

2020-09-28 14:05:08

云原生 Spark Kubernetes

大数据Spark运行环境：Standalone模式与配置详解

这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave模式。

2020-09-22 18:01:22

Spark Standalone 运行

面试必知的Spark SQL几种Join实现

Join作为SQL中一个重要语法特性，几乎所有稍微复杂一点的数据分析场景都离不开Join，如今Spark SQL已经成为Spark应用程序开发的主流，作为开发者，我们有必要了解Join在Spark中是如何组织运行的。

2020-09-18 12:00:24

Spark SQL Join 数据库

为什么Spark能成为最火的大数据计算引擎？它是怎样工作的？

十年前我们只有Hadoop，大家首先通过HDFS实现海量数据的共享存储，然后使用MapReduce以批处理的方式处理这些海量数据，这一切看起来似乎十分完美。

2020-09-11 07:07:01

Spark 大数据 Hadoop

Spark优化之小文件是否需要合并?

我们知道，大部分Spark计算都是在内存中完成的，所以Spark的瓶颈一般来自于集群(standalone, yarn, mesos, k8s)的资源紧张，CPU，网络带宽，内存。Spark的性能，想要它快，就得充分利用好系统资源，尤其是内存和CPU。

2020-08-13 14:58:06

Spark 小文件存储

面向数据科学的5个Apache Spark最佳实践译文

启动项目前应了解这几个Spark优秀实践。虽然我们都在谈论大数据，但通常在职场闯荡一段时间后才遇到大数据。在我供职的Wix.com，有逾1.6亿个用户在生成大量数据，因此需要扩展我们的数据流程。

2020-08-11 07:00:00

大数据 IT 技术

半小时，将你的Spark SQL模型变为在线服务

第四范式已经在很多行业落地了上万个AI应用，比如在金融行业的反欺诈，媒体行业的新闻推荐，能源行业管道检测，而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用

2020-07-27 09:40:12

Spark SQL 模型训练场景

在Apache Spark中执行聚合的五种方法

聚合是数据分析任务中广泛使用的运算符，Spark为此提供了坚实的框架。以下是使用Spark可以针对大数据进行聚合的五种不同方式。

2020-07-24 20:45:51

Spark 数据集函数

深入了解Apache Spark窗口功能

在此博客文章中，我们将深入探讨Apache Spark窗口函数。您可能也对我之前有关Apache Spark的帖子感兴趣。

2020-06-28 13:54:22

Apache Spar 窗口函数数据

Spark 3.0—简而言之的新功能

本文通篇介绍了Spark SQL和Scala API中用于DataFrame操作访问的Spark新功能，以及从Spark SQL移植到Scala API以进行编程访问的功能。

2020-06-17 12:25:34

Spark 函数类型

打破二八法则！每个数据科学家都得会一点SparkMagic

商业数据科学家80%的时间都花在查找、清洗和准备数据上，这是数据科学家工作中效率最低也是最可怕的部分。互联网为如何打破数据科学的80/20定律提供了许多的意见，但却收效甚微。

2020-06-16 13:32:02

数据科学家大数据系统

Hadoop VS Spark 性能原理分析

面对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。

2020-05-27 11:20:37

Hadoop Spark 大数据

Spark：安装及环境配置指南

本文主要介绍一下spark的安装及环境配置。下载时需要注意的是在第1步选择完spark版本之后的第2步“choose a package type ”时，spark与hadoop版本必须配合使用。

2020-05-26 15:05:30

Spark 安装环境

来看看基于Kubernetes的Spark部署完全指南

本文是在Kubernets上搭建Spark集群的操作指南，同时提供了Spark测试任务及相关的测试数据，通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。

2020-05-20 13:20:45

Kubernetes Spark 数据

Spark：大数据产品的一种测试方法与实现

Spark作为现在主流的分布式计算框架，已经融入到了很多的产品中作为ETL的解决方案。而我们如果想要去测试这样的产品就要对分布式计算的原理有个清晰的认知并且也要熟悉分布式计算框架的使用来针对各种ETL场景设计不同的测试数据。

2020-05-19 17:07:09

Spark 测试数据计算

4个简单技巧，可提高您的Apache Spark工作性能

在开发Spark应用程序时，最耗时的部分之一是优化。在此博客文章中，我将提供一些性能提示，以及(至少对我而言)启动时可能会使用的未知配置参数。

2020-05-15 07:59:34

Apache Spar 应用程序代码

大数据时代，且看新一代计算引擎Spark和Flink成王败寇

做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就不得不提 Spark 和 Flink。本文对 Spark 和 Flink 进行了全面分析与对比，且看下一代大数据计算引擎之争，谁主沉浮?

2020-05-14 13:40:40

Spark Flink 大数据

使用Kafka和Druid了解Spark流

在本博文中，我将分享通过将Spark Streaming，Kafka和Apache Druid结合在一起以构建实时分析仪表板，以确保精确的数据表示而获得的知识。

2020-05-14 10:26:27

Kafka Spark 数据

Spark学习笔记：核心概念可视化

对于在分布式系统上背景知识较少的人来说，学习Spark并非易事。即使我已经使用Spark已有一段时间了，但我发现全面了解Spark中的所有核心概念仍然很耗时。 Spark的官方文档提供了非常详细的解释，但更多地侧重于实际编程方面。

2020-05-08 13:44:26

Spark 架构 RDD

Flink及Storm、Spark主流流框架比较，到底谁会更胜一筹？

那么有spark和storm这样成熟的计算框架存在，为什么flink还能占有一席之地呢?今天我们就从流处理的角度将flink和这两个框架进行一些分析和比较。

2020-04-29 09:34:13

Flink Storm Spark

Flink为什么比Spark快？大数据流处理的框架比较

大数据处理的新趋势，流处理和批处理是非常重要的两个概念，而基于流处理和批处理的大数据处理框架，Flink和Spark，也是常常被大家拿来做比较的对象。而在实时流数据处理上，Flink性能似乎更加强劲，那么Flink为什么比Spark快呢，今天我们就来聊聊这个话题。

2020-04-14 15:18:16

Spark Flink 框架

为何Spark在编程界越来越吃香？Spark将成为数据科学家的统一平台

统计科学家使用交互式的统计工具(比如R)来回答数据中的问题，获得全景的认识。与之相比，数据工程师则更像一名程序员，他们在服务器上编写代码，创建和应用机器学习模型，熟悉C++和Java等系统级语言，经常需要和企业级数据中心的某些组件打交道,比如Hadoop。

2020-04-10 11:53:03

Spark 数据科学工具

三分钟读懂Hadoop、HBase、Hive、Spark分布式系统架构

我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础。

2020-04-03 15:35:53

Hadoop HBase Spark

解决 Spark 数据倾斜的 8 大实用方法

对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模(节点数量)的增加，应用整体耗时线性下降。

2020-04-01 11:05:24

Spark 数据倾斜 Hadoop

Spark 3.0 终于支持 event logs 滚动了

相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的，不过我们可以通过 spark.eventLog.enabled 参数来启用这个功能，并且通过 spark.eventLog.dir 参数来指定 event log 保存的地方，可以是本地目录或者 HDFS 上的目录，不过一般我们都会将它设置成 HDFS 上的一个目录。

2020-03-18 20:22:19

Spark 3.0 日志存储

基于Kubernetes的Spark部署完全指南

本文是在Kubernets上搭建Spark集群的操作指南，同时提供了Spark测试任务及相关的测试数据，通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。

2020-03-06 16:00:04

Kubernetes Spark 容器

解析SparkStreaming和Kafka集成的两种方式

Spark Streaming是基于微批处理的流式计算引擎，通常是利用Spark Core或者Spark Core与Spark Sql一起来处理数据。在企业实时处理架构中，通常将Spark Streaming和Kafka集成作为整个大数据处理架构的核心环节之一。

2020-02-21 17:33:17

Spark Kafka 数据

PySpark源码解析，教你用Python调用高效Scala接口，搞定大规模数据分析

相较于Scala语言而言，Python具有其独有的优势及广泛应用性，因此Spark也推出了PySpark，在框架上提供了利用Python语言的接口，为数据科学家使用该框架提供了便利。

2019-12-25 10:46:13

Python 开发编程语言

为什么Spark在数据科学界这么红？

Streaming, Spark Machine Learning(MLlib)Spark SQL 和 Spark GraphX, 这些组件是当下互联网生态需求的大综合，可以说整个数据应用链，Spark 都完美的提供了解决方案，那么它不红，都没理由了!

2019-12-16 14:15:37

Spark 数据科学 Hadoop

Flink与Spark Streaming谁的拳头更硬

流数据(或数据流)是指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此必须实时计算给出秒级响应。流式计算，顾名思义，就是对数据流进行处理，是实时计算。

2019-12-13 08:25:26

Flink Spark Strea 流数据

开源Apache Cassandra、Kafka、Spark和ES何时该用，何时不该用？译文

几乎所有技术决策都要满足两个基本标准：让企业能够实现业务目标，与技术架构的其余部分协同运行。

2019-12-06 09:41:40

开源技术软件

从Hadoop到Spark和Flink，大数据处理框架十年激荡发展史

本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。

2019-11-29 15:47:42

Hadoop Spark Flink

基于HBase和Spark构建企业级数据处理平台

基于HBase和Spark构建企业级数据处理平台,面临的场景:金融风控;个性化推荐；社交Feeds;时空时序以及大数据等。

2019-11-06 10:43:20

HBase Spark 数据处理平台

使用Spark Streaming SQL进行PV/UV统计

使用Spark Streaming SQL，并结合Redis可以很方便进行PV/UV的统计。本文将介绍通过Streaming SQL消费Loghub中存储的用户访问信息，对过去1分钟内的数据进行PV/UV统计，将结果存入Redis中。

2019-10-17 09:25:56

Spark Strea PV UV

Apache Hive VS Spark：不同目的，同样成功

Hive和Spark凭借其在处理大规模数据方面的优势大获成功，换句话说，它们是做大数据分析的。本文重点阐述这两种产品的发展史和各种特性，通过对其能力的比较，来说明这两个产品能够解决的各类复杂数据处理问题。

2019-10-14 10:09:28

Apache Hive Spark

SparkSQL访问Hive遇到的问题及解决方法

SparkSQL访问Hive遇到的问题及解决方法，需要先将hadoop的core-site.xml，hive的hive-site.xml拷贝到project中。

2019-10-11 19:45:28

SparkSQL Hive Hadoop

从源码解密Spark内存管理

我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-10-10 16:20:23

spark 内存管理

Apache Spark Delta Lake写数据使用及实现原理代码解析

Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，在介绍 Delta Lake 实现原理之前先来看看如何使用它，具体使用如下。

2019-09-30 08:28:53

Delta Lake Spark 数据原理

Hive和Spark究竟是凭借什么优势而大获成功？

Hive和Spark凭借其在处理大规模数据方面的优势大获成功，换句话说，它们是做大数据分析的。本文重点阐述这两种产品的发展史和各种特性，通过对其能力的比较，来说明这两个产品能够解决的各类复杂数据处理问题。

2019-08-27 08:36:34

Hive Spark 数据库

比Spark快100倍的GPU加速SQL引擎！BlazingSQL开源了

BlazingSQL 是基于英伟达 RAPIDS 生态系统构建的 GPU 加速 SQL 引擎，可以为各种 ETL 大数据集提供 SQL 接口，并且完全运行在 GPU 之上。

2019-08-06 17:19:22

开源技术趋势

Spark on Kubernetes 的现状与挑战

云原生时代，Kubernetes 的重要性日益凸显，这篇文章以 Spark 为例来看一下大数据生态 on Kubernetes 生态的现状与挑战。

2019-08-02 13:16:08

Spark Kubernetes 云原生

一篇文章了解 Spark Shuffle 内存使用

在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。

2019-07-26 15:01:42

Spark Shuffle 内存

Hadoop与 Spark - 选择正确的大数据框架

我们被各方的数据所包围。随着数据每两年增加一倍，数字世界正在快速追逐物理世界。据估计，到2020年，数字宇宙将达到44个zettabytes - 与宇宙中的恒星一样多的数字位。

2019-07-22 10:45:31

Hadoop Spark 大数据

Spark内存调优，你会吗？

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。

2019-07-17 15:45:24

Spark 内存 Java

Spark和Hadoop的架构区别解读

总的来说，Spark采用更先进的架构，使得灵活性、易用性、性能等方面都比Hadoop更有优势，有取代Hadoop的趋势，但其稳定性有待进一步提高。我总结，具体表现在如下几个方面。

2019-07-17 13:25:03

Spark Hadoop 架构

上一页 1 2 3 4 5 6 ··· 8 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营