鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9056内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 229 条

CDH 集群使用 JindoFS SDK 访问 OSS

CDH 集群使用 JindoFS SDK 访问 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是众多Hadoop发行版本中的一种，本文以CDH 5.16.2为例介绍如何配置CDH支持使用JindoFS SDK访问OSS。步骤 1. 安装 jar 包下载最新的jar包 jindofs-sdk-x.x.x.jar (下载页面)，

2021-09-13 13:38:45

0006 - Hadoop&HDFS命令指南大全

大数据梦工厂（0006Hadoop&HDFS命令指南大全）(https://mp.weixin.qq.com/s/5piYpuvjCxjaxXvnLXivQ)1Hadoop命令指南1.1archive创建一个Hadoop归档文件，其扩展名是.har。创建archive是一个Map/Reduce任务。Usage:hadooparchive<archiveName<NAME.har<p<parentp

2021-09-12 16:39:18

Hadoop MapReduce 大数据

0005 - Hadoop-Shell命令指南大全

大数据梦工厂（0005HadoopShell命令指南大全）(https://mp.weixin.qq.com/s/0wn5rWeQSA3RPSxOqvzHlA)1HadoopShell命令简介bash适用于任何文件系统hadoopfs<args只能用于HDFS分布式文件系统hadoopdfs<args（推荐）和上面的命令作用相同，当使用hadoopdfs时内部会被转为hdfsdfs命令hdfsdf

2021-09-06 22:06:04

Spark的两种核心Shuffle详解

在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能。 Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle 。文章都会首发在公众号【五

2021-09-05 10:53:34

0004 - DataNode工作机制解析

大数据梦工厂（0004DataNode工作机制解析）(https://mp.weixin.qq.com/s/Xxcu9p6t7h3fi6xcvawhw)1基本描述DataNode通常是群集中每个节点部署一个，用于存储数据，负责提供客户端的读写请求，并且根据NameNode的指令执行数据块的创建、删除、追加和复制等操作。DataNode三大功能：负责管理所在节点上存储数据的读写，及存储每个文件的数据

2021-09-05 09:30:21

Hadoop HDFS DataNode

Hadoop之常用概念

Hadoop中常用概念，机架感知策略、写数据流程、降副本后删除冗余数据时间和心跳机制

2021-09-04 22:58:07

机架感知策略 Hadoop写数据流程降副本后删除冗余数据时

0003 - NameNode工作机制解析

大数据梦工厂（0003NameNode工作机制解析）(https://mp.weixin.qq.com/s/D6XLWpm5VvZkIoPyk4F2w)1基本描述NameNode是HDFS的核心服务，它管理和维护着整个HDFS分布式文件系统，主要有以下作用：负责接收客户端的操作请求；负责管理文件系统命名空间（NameSpace）、集群配置信息及存储块的复制等；负责文件目录树的维护以及文件对应Blo

2021-08-29 22:37:01

Hadoop HDFS NameNode

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。 Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自

2021-08-21 15:46:53

大数据—— YARN

源码见：https://github.com/hiszm/hadooptrainYARN产生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfuncti

2021-08-10 14:18:32

#导入MD文档图片#学完大数据,来测测你大数据技术掌握程度?

问题1：Rowkey如何设计，设计规则是什么？ - 业务原则：贴合业务，保证前缀是最常用的查询字段 - 唯一原则：每条rowkey唯一表示一条数据 - 组合原则：常用的查询条件组合作为Rowkey - 散列原则：rowkey构建不能连续 - 长度原则：满足业务需求越短越好

2021-08-07 11:27:18

大数据面试题

CDH6.3.0上配置各种对象存储

cm-hdfs: ufile: 还需添加jar包 S3:是自带jar包 OSS: CDH6不需要下载包, CDH5需要 core-site.xml 的群集范围高级配置代码段（安全阀） fs.oss.endpoint oss-eu-west-1.aliyuncs.com #oss的外网地址fs.oss.accessKeyId fs.

2021-07-27 17:54:03

Hadoop基础-12-Hive

源码见：https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distr

2021-07-27 15:44:36

数据库大数据 hadoop

用户路径分析之利器“桑基图”

本文带你走一遭，讲讲桑基图的前世今生，桑基图在互联网产品分析领域的应用，以及如何用python将一个常见埋点数据CSV文件做出漂亮的桑基图。

2021-07-10 21:36:04

Hadoop 官方WordCount案例带你手把手的解析

package wordcount_hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapp

2021-07-09 17:26:04

# hadoop hadoop

超级经典的SQL练习题（MySQL版本），你还怕SQL不过关吗？

微信搜索公众号【C you again】，回复“SQL”下载无水印PDF版本，方便收藏 ## 1 数据表 #### 1.1 学生表 Student（SId，Sname，Sage，Ssex） > SId 学生编号，Sname 学生姓名，Sage 出生年月，Ssex 学生性别 #### 1.2 课程表 Course（CId，Cname，TId） > CId 课程编号，Cname 课程名称，

2021-07-09 13:36:50

面试系列五之项目涉及技术Spark

面试系列五之项目涉及技术Spark

2021-06-21 21:49:44

Note_Spark_Day02：Spark 基础环境

Spark Day02：Spark 基础环境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次课程内容回顾主要讲解2个方面的内容：Spark 框架概述和

2021-06-21 10:36:31

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）

0x00 教程内容0x01 进阶算子操作1. 创建RDD2. 转换算子3. 行动算子0x02 RDD的缓存与持久化1. 缓存与持久化的意义2. 缓存3. 持久化

2021-06-10 18:17:00

Spark教程 Spark

带你深入浅出，彻底了解什么是Spark？

大数据专业，或者人工智能，深度学习方向的小伙伴们一定对Spark这个名词不陌生吧~不认识也没有关系，今天Alice为大家带来关于Spark的一个详细介绍。文章目录激动人心的Spark发展史Spark为什么流行？1：优秀的数据模型和计算抽象2：完善的生态圈3.Spark VS HadoopSpark使...

2021-06-01 17:48:55

Spark 大数据技术

大数据面试杀招——Spark高频考点，必知必会!

关于大数据面试中Spark的高频考点，快来学习!

2021-06-01 17:20:31

flume的集群部署与测试

flume的集群部署标签（空格分隔）：协作框架[toc]##一：flume介绍：1.1flume的介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume

2021-05-26 16:30:24

数栈技术分享：一文带你了解Flink jm、tm启动过程和资源分配

一、JM启动过程1、从日志角度分析启动流程1）client生成jobGraph详情请参考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到请求(和yarn交互不重点分析)3）在被分配的节点上的工作目录下启动launch_container.sh4）在perJob模式下，最终调用的是YarnJobClusterEntrypoint5）初始

2021-05-26 11:15:33

flink 大数据开源项目

如何监控Azure Databricks集群资源使用率

Azure Databricks可以监控吗？如何监控Azure Databricks呢？这篇文章给你答案！

2021-05-21 15:19:58

Azure Datab Databricks 监控

网易Spark Kyuubi核心架构设计与源码实现剖析

本文较为系统、全面并且由浅入深地介绍了网易Spark Kyuubi出现的背景、核心架构设计与关键源码实现，是学习、应用和对Kyuubi进行二次开发不可多得的技术干货。

2021-05-17 03:41:26

大数据 Spark Kyuubi

prometheus+ Grafana监控全家桶

普罗米修斯监控操作系统，elasticsearch、kafka、flink

2021-05-13 10:04:17

普罗米修斯监控es prometheus prometheus

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最

2021-05-13 06:06:27

hadoop HA yarn HA

实时计算框架：Flink集群搭建与运行机制

Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink不仅可以运行在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。

2021-05-09 19:33:48

Flink Spark 大数据

实时计算框架：Spark集群搭建与入门案例

Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运算速度相比于MapReduce得到了显著的提高。

2021-04-26 08:32:07

Spark 大数据实时计算

SparkSubmit object分析

org.apache.spark.deploy.SparkSubmit分析ObjectSparkSubmit类图分析![](https://s4.51cto.com/images/blog/202104/22/6f3f6821c2c3e8903ec82254c4ca02e0.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6

2021-04-22 14:54:23

OLAP引擎：基于Druid组件进行数据统计分析

与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选择合适的组件解决业务需求是优先原则。

2021-04-05 11:09:29

Druid OLAP 大数据

数据调度组件：基于Azkaban协调时序任务执行

Azkaban是由Linkedin公司推出的可以管理批量工作流任务的调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

2021-03-30 08:26:23

Azkaban 大数据任务调度

Spark性能调优-Shuffle调优及故障排除篇

Spark调优之Shuffle调优本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优；最后是Spark运行过程中的故障排除。本文首发于公众号【五分钟学大数据】，本公号专注于大数据技术，分享高质量大数据原创技术文章。一、Shuffle的核心概念1. ShuffleM

2021-03-24 21:06:08

大数据 spark

Spark性能调优-RDD算子调优篇（深度好文，面试常问，建议收藏）

Spark调优之RDD算子调优不废话，直接进入正题！1. RDD复用在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示：RDD的重复计算对上图中的RDD计算架构进行修改，得到如下图所示的优化结果：RDD架构优化2. 尽早filter获取到初始RDD后，应该考虑尽早地过滤掉不需要的数据，进而减少对内存的占用，从而提升Spark作业的运行效率。本文首发于公众号：五分

2021-03-06 09:43:48

大数据 spark 大数据面试

Spark底层原理详细解析(深度好文，建议收藏)

Spark简介 Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执行原理。Spark运行流

2021-01-29 20:15:47

大数据 spark

Flink实战，APP推广情况分析

接着https://blog.51cto.com/mapengfei/2581240这里用Flink来实现对APP在每个渠道的推广情况包括下载、查看、卸载等等行为的分析因为之前的文章都是用scala写的，这篇用java来实现一波，分别演示下用aggregate聚合方式和process方式的实现和效果整体思路1、准备好数据源：这里用SimulatedSource来自己随机造一批数据2、准备数据输入样

2021-01-10 21:13:17

flink APP统计 flink java

Flink实战，实时流量统计 TOPN访问URL

跟https://blog.51cto.com/mapengfei/2580330类似场景，来从Nginx、Apache等web服务器的日志中读取数据，实时统计出来访问热度最高的TOPN访问URL，并且要确保数据乱序的处理，lag等情况下，还要确认数据的准确性目标：从log文件中读取数据（也可以参考上一篇从kakfa中），取http的method为get的请求，并且把静态文件访问过滤掉，进行实时统

2021-01-03 17:09:18

flink统计热门ur 实时流量统计

记录一次事故处理50%kudu表无法进行正常访问

记录一次事故处理50%kudu表无法进行正常访问测试环境kudu集群事故，影响：测试效果，测试进度，生产发布延迟，需警惕，特此写出过程操作需谨慎！操作需谨慎！操作需谨慎！任务环境都要以生产环境而对待！事故原因：昨天于上午10点，业务说kudu表无法使用后，影响测试，无法正常发布。去scm平台发现kudu_tablet挂了5台运维查看信息日志后，做近一步处理1.重启kudu—tablet发现无法启动

2020-12-21 15:27:43

kudu表无法访问 kudu规范 kudu_tablet

prometheus + grafana 对flink 进行监控

prometheus+grafana对flink进行监控标签（空格分隔）：flink系列一：flink监控简介二：Flink的Metric架构三：prometheus+grafana的对flink的监控部署构建一：flink监控简介1.1前言Flink提供的Metrics可以在Flink内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢

2020-12-18 09:37:32

flink prometheus grafana

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPA kerberos cdh6.3.2

Flink从入门到真香(16、Flink内置的一些Process Function)

之前的转换算子是无法访问事件的时间戳信息和水位线信息的，而这在一些应用场景下，极为重要。例如MapFunction这样子的map转换算子就无法访问时间戳或者当前事件的事件事件。基于此，DataStreamAPI提供了一系列LOW-LEVEL的转换算子调用。可以访问时间戳，watermark以及注册定时事件，还可以输出特定的一些事件，例如超时时间等。processfunction用来构建事件驱动的应

2020-11-25 21:54:42

Flink check checkpoint 状态后端

将大数据学习门槛降到了地平线

可能是Hadoop hdfs mapreduce最亲民的介绍

2020-10-29 21:14:14

hadoop hdfs mapreduce

大数据PAZR集成ldap实操！what？

大数据PAZR集成ldap实操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH运维 zeppline presto

Hadoop 之 HDFS

1HDFS概述1.1HDFS产出背景及定义随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式

2019-09-07 00:55:36

生产SparkStreaming数据零丢失最佳实践(含代码)

生产上保证数据零丢失(断批还原)

2019-06-22 09:14:33

Spark Spark Strea

Spark on Yarn with Hive实战案例与常见问题解决

Spark on Yarn with Hive实战案例与常见问题解决

2018-10-09 11:14:27

Spark Yarn Hive

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

2018-04-08 22:36:04

大数据 Hadoop MapReduce

详解Linux运维工程师高级篇（大数据安全方向）

详解linux运维工程师高级篇（大数据安全方向）

2018-02-07 18:57:15

大数据安全 kerberos

Hadoop运维记录系列(二十一)

Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思，该客户中国分公司的人为了验证内网安全性，从国外找了一个渗透测试小组对Zeppelin和其他产品进行黑客测试，结果发现Zeppelin主要俩问题，一个是在内网没用https，一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题，zeppelin本来就是干这个用的。但是渗透小组不

2017-11-02 19:25:32

hadoop zeppelin hack

大数据实践总结－－两个故障的处理及思路总结

已经有一段时间没有更新实践内容了，不是因为没有在学习。而是工作上出现一个新的挑战，又在忙论文查重，论文也是大数据方向的，主要是ICT方向的一个技术（若有人感兴趣，我会另开一个帖子来详细谈这个内容）。而且最近，把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利，但没想到，还是出了许多问题。一些简单的问题就直接解决了，但仍是有两

2017-09-26 23:24:31

实践大数据

Apache Bigtop再论与卖书求生存

快一年没写博客了，终于回来了，最近因公司业务需要，要基于cdh发行版打包自定义patch的rpm，于是又搞起了bigtop，就是那个hadoop编译打包rpm和deb的工具，由于国内基本没有相关的资料和文档，所以觉得有必要把阅读bigtop源码和修改的思路分享一下。我记得很早以前，bigtop在1.0.0以前版本吧，是用make进行打包的，其实这个0.9.0以前的版本，搁我觉得就不应该出现在apa

2016-12-30 15:22:50

apache hadoop bigtop

上一页 1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营