鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9056内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 229 条

#Word文档导入#大数据presto+Alluxio

大数据presto+Alluxio 1.Presto安装角色分配IP地址HOSTNAMENodeID角色172.16.16.241incubator-test-dc-001presto-cdh01coordinator172.16.16.246incubator-test-dc-002presto-cdh02worker172.16.16.25

2022-05-16 16:55:10

cloudera hive apache

MacOS下安装Apache Flink及测试WordCount

1.安装java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

2022-05-16 15:43:40

flink apache java

干货！！基于Spark Graph的社交关系图谱项目实战

原创干货，基于spark graphframes图计算的社交关系图谱

2022-05-05 08:46:14

spark 图计算社交关系图谱

深入理解Spark原理，从性能优化入手

1 Spark任务文件初始化调优首先进行性能测试，发现这个视频图谱N度级联关系应用分为5个job，最后一个job为保存结果到HDFS，其余job为同样计算过程的反复迭代。但是发现第一个job比其他job又多了个计算阶段stage，如图中红圈所示。通过阅读程序代码，发现第一个job需要初始化一个空数组，从而产生了一个stage，但是这个stage在性能测试结果上显示，花费了14秒的时间，远远超出合理

2022-04-29 22:40:14

服务器 spark 网络通信

Spark SQL 字段血缘在 vivo 互联网的实践

字段血缘可以很好的帮助我们了解数据生成的处理过程，在探索中我们发现了可以通过Spark的扩展来优雅的实现这一功能

2022-04-25 10:15:07

sql spark sparksql

linux硬核知识点

man 是 manual 的缩写，将指令的具体信息显示出来。当执行`man date`时，有 DATE(1) 出现，其中的数字代表指令的类型，常用的数字及其类型如下

2022-04-23 17:02:38

bash 文件系统子进程

Shell脚本进阶

if 判断条件 1 ; then 条件为真的分支代码 elif 判断条件 2 ; then 条件为真的分支代码 elif 判断条件 3 ; then 条件为真的分支代码 else 以上条件都为假的分支代码 fi

2022-04-22 20:49:44

bash 赋值 ip地址

用户行为指标浅析

前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。先来看下用户类行为指标说明，然后下面详解常写的指标。仅供参考，实际开发逻辑还是按业务需求为标准。指标名称解释说明:新增用户首次联网使用应用的用户，如果一个用户首次打开某APP，那这个用户定义为新增用户：卸载再安装

2022-04-19 16:28:49

sql 唯一标识业务需求

一文玩转Linux(NAT)网络配置(保姆级别教程)

VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)，bridged(桥接模式) 是 VMWare 虚拟出来的操作系统就像是局域网中的一台独立的主机，它可以访问网内任何一台机器。在桥接模式下，需要手工为虚拟系统配置IP地址、子网掩码，而且还要和宿主机器处于同一网段，这样虚拟系统才能和宿主机器进行通信。同时，由于这个虚拟系统是局域网中的一个独立的主机系统，那么就可以手工配置它的TCP/IP配置信息，以实现通过局域网的网关或路由器访问互联网。使用桥接模式的虚拟系统和宿主机器的关系，就像连接在同一个Hub上的两台电脑。想让它们相互通讯，需要为虚拟系统配置IP地址和子网掩码，否则就无法通信。

2022-04-15 00:12:57

centos Linux NAT网络配置

详解Apache Hudi如何配置各种类型分区

1. 引入ApacheHudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo",

2022-04-11 16:12:41

hive apache 字段

用 GraphScope 像 NetworkX 一样做图分析

NetworkX 是 Python 上最常用的图分析包，GraphScoep 兼容 NetworkX 接口。本文中我们将分享如何用 GraphScope 像 NetworkX 一样在（大）图上进行分析。快速访问graphscope：https://github.com/alibaba/GraphScopeNetworkX 是什么NetworkX 是一个用 Python 语言开发的图论与复杂

2022-04-11 15:02:53

twitter 数据聚类

都2022年了，HDFS为何还如此能战！

HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术。

2022-04-11 14:12:13

hdfs 数据 HDFS

MapReduce编程模型和计算框架

1 概述源于Google的MapReduce论文，发表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop问世前，已有分布式计算，但都是专用系统，仅处理某一类计算，比如进行大规模数据排序。这样的系统无法复用到其他大数据计算场景，每种应用都需要开发与维护专门系统。而Hadoop MapReduce造就了大数据计算通用编程。只要遵循MapRedu

2022-04-05 20:52:00

mapreduce 数据服务器

数仓建模—OneID

今天是我在上海租房的小区被封的第三天，由于我的大意，没有屯吃的，外卖今天完全点不到了，中午的时候我找到了一包快过期的肉松饼，才补充了1000焦耳的能量。但是中午去做核酸的时候，我感觉走路有点不稳，我看到大白的棉签深入我的嘴里，我竟然以为是吃的，差点咬住了，还好我有仅存的一点意识。下午我收到女朋友给我点的外卖——面包（我不知道她是怎么点到的外卖，我很感动），很精致的面包，搁平时我基本不喜欢吃面包，但

2022-03-31 17:39:18

数据建模 spark

GC：垃圾回收机制，不用手动回收释放#yyds干货盘点#

GC：垃圾回收机制，不用手动回收释放什么是垃圾？对象被判定为垃圾的标准没有被其他对象引用怎么判断垃圾？判定对象是否为垃圾的算法引用计数算法通过判断对象的引用数量来决定对象是否可以被回收每个对象实例都有一个引用计数器，被引用则+1，完成引用则1任何引用计数为0的对象实例可以被当作垃圾收集优点:执行效率高，程序执行受影响较小缺点︰无法检测出循环引用的情况，导致内存泄露javapackagecom.in

2022-03-02 08:23:48

引用计数 java 方法区

最强Flink算子大全手册，面试拿捏了~

Flink基于流编程模型，内置了很多强大功能的算子，可以帮助我们快速开发应用程序。特此整理Flink算子手册，赶快拿去！

2022-03-01 21:43:20

flink scala 面试

Hadoop Kerberos 集成

官网参考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html2、创建Hadoop系统用户为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和

2022-02-19 13:55:44

hadoop hdfs xml

2022年最强大数据面试宝典（全文50000字，建议收藏）

此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待复习大数据面试题，看这一套就够了！本文目录：一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法\本文因内容较多，带目录的PDF版查看是比较方便的：2022年最强大数据面试宝典PDF版(https://mp.weixin.qq

2022-02-16 14:48:08

大数据面试大数据面试题大数据面试宝典

第02讲：Flink 入门程序 WordCount 和 SQL 实现

Flink系列文章

2022-02-10 21:59:52

第12讲：Flink 常用的 Source 和 Connector

Flink系列文章1.第01讲：Flink的应用场景和架构模型(https://www.ikeguang.com/?p=1976)2.第02讲：Flink入门程序WordCount和SQL实现(https://www.ikeguang.com/?p=1977)3.第03讲：Flink的编程模型与其他框架比较(https://www.ikeguang.com/?p=1978)4.第04讲：Flink

2022-01-29 10:24:47

flink redis apache

漫画趣解Flink实时数仓

Flink实时数仓架构一文打尽

2022-01-28 23:36:57

flink 实时数仓

我是Flink，现在"背"感压力~

我是Flink，现在“背”感压力，我太难了~

2022-01-19 21:18:44

flink kafka 实时计算

万字长文玩转Spark面试: 进大厂必看！#yyds干货盘点#

大数据Spark大厂面试一条龙，硬核干货~

2022-01-12 00:06:23

spark 实时计算大数据

万字详解实时计算一致性机制：对比Flink和Spark#yyds干货盘点#

海量数据实时计算：Spark和Flink引擎是如何保证Exactly-Once一致性？

2022-01-11 07:48:20

spark 数据 kafka

YYDS|不得不看的Spark内存管理机制

万字最全Spark内存管理深度剖析

2022-01-09 11:00:37

spark 内存管理实时计算

十分钟手撕Flink双流JOIN面试

某年某日某君，于某都面试，为Flink双流JOIN所惑~ 有感而发，遂下笔，为君解惑~

2022-01-04 22:53:30

Flink 大数据程序员

数仓建模—指标体系#yyds干货盘点#

指标体系提起指标这个词，每个人似乎都可以说出几个指标，像经常在工作中会听到的日活、月活、注册率、转化率、交易量等事实上指标就是用来量化事物的一个工具，帮助我们去将一些抽象的事件得出一个轮廓上的描述。例如我们可以从指标上判断一个产品的好坏，用户粘性等等，例如我们通过日活能去判断出我们整个产品的用户量，从而能反应出我们这个产品的一个健康程度，也就是否处于增长过程中。一个好的数据指标体系可以助力业务快速

2021-12-22 17:10:10

数据搜索二级

OPPO大数据离线计算平台架构演进

OPPO大数据离线计算平台演进道路上，遇到了很多经典的大数据问题，比如说：shuffle失败、小文件问题、元数据切分、多集群资源协调、spark 任务提交门户建设。OPPO大数据离线计算平台团队依托自身的资源和技术，不断探索，务实的解决平台发展中遇到的各种问题。本文围绕前面提到的五个问题，逐步介绍我们的大数据平台演进之路。

2021-12-22 15:32:33

大数据 spark yarn

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、环境准备1.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台二.编译hudi（这个编译是以前的一个测试版本，编译大同小异）1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

2021-12-15 17:13:27

flink hive 数据

「Spark 从精通到重新入门(二)」Spark 中不可不知的动态资源分配

资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor，可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中，无论 Executor上是否有 task 在执行，都会被一直占有直到此 Spark 应用结束。

2021-12-15 13:44:25

spark sql 动态分配

sqoop用法之mysql与hive数据导入导出#yyds干货盘点#

一.Sqoop介绍Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安

2021-12-06 22:38:37

hive mysql 数据

万字详解 Spark 数据倾斜及解决方案

本文目录：一、调优概述\二、数据倾斜发生时的现象\三、数据倾斜发生的原理\四、如何定位导致数据倾斜的代码\五、某个task执行特别慢的情况\六、某个task莫名其妙内存溢出的情况\七、查看导致数据倾斜的key的数据分布情况\八、数据倾斜的解决方案：解决方案一：使用HiveETL预处理数据解决方案二：过滤少数导致倾斜的key解决方案三：提高shuffle操作的并行度解决方案四：两阶段聚合（局部聚合+

2021-12-06 10:56:01

数据数据倾斜 spark

大数据面试吹牛草稿V2.0

面试吹牛之前先打个草稿！各位面试官好!本文首发于微信公众号【五分钟学大数据】，公众号上有很多大数据学习方法，学习文档，最全的大数据面试八股文等1.我叫xxx，毕业于xxx，之前在xxx公司待了1年多，期间⼀直从事的是IT行业，刚开始的时候做的是Java开发后来转岗到大数据方向做大数据开发;刚转行到大数据开发的时候开始比较困难的，大数据并不像Java那样⼀套框架基本可以搞定所有的问题，而是不同的业务

2021-12-01 16:55:31

kafka 大数据离线

0012 - YARN三种资源调度器解析

大数据梦工厂（0012YARN三种资源调度器解析）(https://mp.weixin.qq.com/s/wkwIrLIwbfTzyEk9PkMdQ)1YARN资源调度器简介资源调度器（ResourceScheduler）是HadoopYARN中最核心的组件之一，且是ResourceManager中的一个服务组件，负责整个Hadoop集群资源的分配和管理，用于解决各应用程序之间集群资源抢占的问题。

2021-11-30 23:19:04

Hadoop YARN 大数据

#yyds干货盘点#Hadoop企业级生产调优手册(二)

上节：Hadoop企业级生产调优手册(一)(https://blog.51cto.com/u_14932245/4693074)五、HDFS存储优化注：演示纠删码和异构存储需要一共5台虚拟机。尽量拿另外一套集群。提前准备5台服务器的集群。5.1纠删码5.1.1纠删码原理HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算

2021-11-27 11:28:03

hadoop hdfs mapreduce

#yyds干货盘点#Hadoop企业级生产调优手册(一)

一、HDFS核心参数1.1NameNode内存生产配置1.NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？12812810241024/150Byte≈9.1亿2.Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3G。在hadoopenv.sh文件中配置如下

2021-11-26 10:48:36

hadoop hdfs 数据

Spark SQL知识点大全与实战

SparkSQL概述1、什么是SparkSQLSparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。与基本的SparkRDDAPI不同，SparkSQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。在内部，SparkSQL使用这些额外的信息去做一些额外的优化，有多种方式与SparkSQL进行交互，比如:SQL和DatasetAPI

2021-11-22 11:07:13

spark scala sql

Spark调优 | Spark OOM问题常见解决方式

Spark OOM 问题分析Spark常见的问题不外乎OOM。我们首先看一下Spark 的内存模型：Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。Execution内存是执行内存，文档中说join，aggregate都在这部分内存中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO。其实m

2021-11-19 08:48:22

spark 数据调优

HBase面试题整理

1、HBase的特点是什么？1）大：一个表可以有数十亿行，上百万列；2）无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；3）面向列：面向列（族）的存储和权限控制，列（族）独立检索；4）稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏；5）数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时

2021-11-14 14:27:35

数据缓存 hive

CDH6.3.2 集成 openldap 配置

CDH6.3.2集成openldap配置标签（空格分隔）：大数据运维专栏toc一：hive集成openldap1.1CDH6.3.2的主机节点安装openldap的客户端openldap服务端已经配置完成，不会看flyfish博文https://blog.51cto.com/flyfish225/4562546在此不做部署：安装openldapclient装包：yumyinstallopenlda

2021-11-11 17:44:50

openladp cdh hive

Flink计算pv和uv的通用方法

PV(访问量)：即PageView,即页面浏览量或点击量，用户每次刷新即被计算一次。UV(独立访客)：即UniqueVisitor,访问您网站的一台电脑客户端为一个访客。00:0024:00内相同的客户端只被计算一次。计算网站App的实时pv和uv，是很常见的统计需求，这里提供通用的计算方法，不同的业务需求只需要小改即可拿来即用。需求利用Flink实时统计，从0点到当前的pv、uv。一、需求分析从

2021-11-01 11:26:25

Spark读取MongoDB数据的方法与优化

1.本文主要介绍了Spark读区MongoDB数据的方法及自定义分区抽取数据的优化方式

2021-10-28 10:36:53

Spark MongoDB 读取

kafka分区扩容和修改三个副本数

Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kafka、Rabbi

2021-10-27 11:28:04

cloudera jar kafka

Flink状态管理与状态一致性（超级详细）

!Flink状态(https://s4.51cto.com/images/blog/202110/26104419_61776b833c95936026.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5n

2021-10-26 10:49:12

耗时一个月，整理出这份Hadoop吐血宝典

本文目录：一、HDFS\二、MapReduce\三、Yarn\四、Hadoop3.x新特性\五、Hadoop大厂面试真题解析Hadoop涉及的知识点如下图所示，本文将逐一讲解：!(https://s4.51cto.com/images/blog/202110/22145555_6172607b946f17173.png?xossprocess=image/watermark,size_14,tex

2021-10-22 14:57:18

hadoop 大数据

Dolphinscheduler1.3.8集群部署

1.集群节点规划及说明主机部署服务说明172.16.53.179masterserver,alertserver,zookeeper,mysql数据库也在该主机172.16.53.180zookeeperzk172.16.53.181apiserver,zookeeperweb服务端口:12345172.16.53.182masterserver172.16.53.183workserver172

2021-10-13 20:44:42

各组件配置LDAP认证手册

注：本手册以CM&CDH5.7.6为例1、Hive配置LDAP认证目前单个Hive Server2只能支持一种客户端认证方式，或者是Kerberos认证，或者是LDAP认证，所以要在一个集群内部同时支持两种认证方式，必须配置两个HiveServer 2。注：目前新版本CDH已经可以同时支持两种认证方式，在CDH5.14.4上已验证过。1.1、开启“启用LDAP身份验证”搜索“启用 LDAP

2021-10-13 15:45:10

hue hive impala

Hadoop面试题总结（二）——HDFS

1、HDFS中的block默认保存几份？默认保存3份2、HDFS默认BlockSize是多大？默认64MB3、负责HDFS数据存储的是哪一部分？DataNode负责数据存储4、SecondaryNameNode的目的是什么？他的目的使帮助NameNode合并编辑日志，减少NameNode启动时间5、文件大小设置，增大有什么影响？HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置

2021-10-13 12:54:57

0009 - 基于MapReduce的应用案例

大数据梦工厂（0009基于MapReduce的应用案例）(https://mp.weixin.qq.com/s/NTxTX5bcpI5DGDVp6toBg)1MapReduce词频统计案例1.1样本数据这是一个经典的词频统计的案例：统计如下样本数据中每个单词出现的次数。bashroot@hadoop01catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStorm

2021-09-23 23:17:37

Hadoop MapReduce 大数据

0007 - MapReduce入门指南

大数据梦工厂（0007MapReduce入门指南）(https://mp.weixin.qq.com/s/1T1OsqIPSNCGbaDpy0laZQ)1MapReduce简介HadoopMapReduce是一个分布式计算框架（也称为编程模型）。基于它编写的应用程序能够以一种可靠、容错的方式在大规模集群（数千个节点）上并行处理TB级别的海量数据集。MapReduceTask过程分为两个处理阶段：M

2021-09-13 23:00:58

Hadoop MapReduce 大数据

上一页 1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营