51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

Hadoop

837内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 159 条
Dolphinscheduler1.3.8集群部署
1.集群节点规划及说明主机部署服务说明172.16.53.179masterserver,alertserver,zookeeper,mysql数据库也在该主机172.16.53.180zookeeperzk172.16.53.181apiserver,zookeeperweb服务端口:12345172.16.53.182masterserver172.16.53.183workserver172

2021-10-13 20:44:42

dolphinsche
各组件配置LDAP认证手册
注：本手册以CM&CDH5.7.6为例1、Hive配置LDAP认证目前单个Hive Server2只能支持一种客户端认证方式，或者是Kerberos认证，或者是LDAP认证，所以要在一个集群内部同时支持两种认证方式，必须配置两个HiveServer 2。注：目前新版本CDH已经可以同时支持两种认证方式，在CDH5.14.4上已验证过。1.1、开启“启用LDAP身份验证”搜索“启用 LDAP

2021-10-13 15:45:10

huehiveimpala
Hadoop面试题总结（二）——HDFS
1、HDFS中的block默认保存几份？默认保存3份2、HDFS默认BlockSize是多大？默认64MB3、负责HDFS数据存储的是哪一部分？DataNode负责数据存储4、SecondaryNameNode的目的是什么？他的目的使帮助NameNode合并编辑日志，减少NameNode启动时间5、文件大小设置，增大有什么影响？HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置

2021-10-13 12:54:57

Hadoop
0009 - 基于MapReduce的应用案例
大数据梦工厂（0009基于MapReduce的应用案例）(https://mp.weixin.qq.com/s/NTxTX5bcpI5DGDVp6toBg)1MapReduce词频统计案例1.1样本数据这是一个经典的词频统计的案例：统计如下样本数据中每个单词出现的次数。bashroot@hadoop01catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStorm

2021-09-23 23:17:37

HadoopMapReduce大数据
0007 - MapReduce入门指南
大数据梦工厂（0007MapReduce入门指南）(https://mp.weixin.qq.com/s/1T1OsqIPSNCGbaDpy0laZQ)1MapReduce简介HadoopMapReduce是一个分布式计算框架（也称为编程模型）。基于它编写的应用程序能够以一种可靠、容错的方式在大规模集群（数千个节点）上并行处理TB级别的海量数据集。MapReduceTask过程分为两个处理阶段：M

2021-09-13 23:00:58

HadoopMapReduce大数据
CDH 集群 使用 JindoFS SDK 访问 OSS
CDH 集群 使用 JindoFS SDK 访问 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是众多Hadoop发行版本中的一种，本文以CDH 5.16.2为例介绍如何配置CDH支持使用JindoFS SDK访问OSS。 步骤 1. 安装 jar 包 下载最新的jar包 jindofs-sdk-x.x.x.jar (下载页面)，

2021-09-13 13:38:45

hadooposs
0006 - Hadoop&HDFS命令指南大全
大数据梦工厂（0006Hadoop&HDFS命令指南大全）(https://mp.weixin.qq.com/s/5piYpuvjCxjaxXvnLXivQ)1Hadoop命令指南1.1archive创建一个Hadoop归档文件，其扩展名是.har。创建archive是一个Map/Reduce任务。Usage:hadooparchive<archiveName<NAME.har<p<parentp

2021-09-12 16:39:18

HadoopMapReduce大数据
0005 - Hadoop-Shell命令指南大全
大数据梦工厂（0005HadoopShell命令指南大全）(https://mp.weixin.qq.com/s/0wn5rWeQSA3RPSxOqvzHlA)1HadoopShell命令简介bash适用于任何文件系统hadoopfs<args只能用于HDFS分布式文件系统hadoopdfs<args（推荐）和上面的命令作用相同，当使用hadoopdfs时内部会被转为hdfsdfs命令hdfsdf

2021-09-06 22:06:04

HadoopHDFS
0004 - DataNode工作机制解析
大数据梦工厂（0004DataNode工作机制解析）(https://mp.weixin.qq.com/s/Xxcu9p6t7h3fi6xcvawhw)1基本描述DataNode通常是群集中每个节点部署一个，用于存储数据，负责提供客户端的读写请求，并且根据NameNode的指令执行数据块的创建、删除、追加和复制等操作。DataNode三大功能：负责管理所在节点上存储数据的读写，及存储每个文件的数据

2021-09-05 09:30:21

HadoopHDFSDataNode
Hadoop之常用概念
Hadoop中常用概念，机架感知策略、写数据流程、降副本后删除冗余数据时间和心跳机制

2021-09-04 22:58:07

机架感知策略Hadoop写数据流程降副本后删除冗余数据时
0003 - NameNode工作机制解析
大数据梦工厂（0003NameNode工作机制解析）(https://mp.weixin.qq.com/s/D6XLWpm5VvZkIoPyk4F2w)1基本描述NameNode是HDFS的核心服务，它管理和维护着整个HDFS分布式文件系统，主要有以下作用：负责接收客户端的操作请求；负责管理文件系统命名空间（NameSpace）、集群配置信息及存储块的复制等；负责文件目录树的维护以及文件对应Blo

2021-08-29 22:37:01

HadoopHDFSNameNode
Atlas2.1.0集成CDH6.3.0部署
Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。 Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。 如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自

2021-08-21 15:46:53

atlas
大数据—— YARN
源码见：https://github.com/hiszm/hadooptrainYARN产生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfuncti

2021-08-10 14:18:32

YARN
#导入MD文档图片#学完大数据,来测测你大数据技术掌握程度?
问题1：Rowkey如何设计，设计规则是什么？ - 业务原则：贴合业务，保证前缀是最常用的查询字段 - 唯一原则：每条rowkey唯一表示一条数据 - 组合原则：常用的查询条件组合作为Rowkey - 散列原则：rowkey构建不能连续 - 长度原则：满足业务需求越短越好

2021-08-07 11:27:18

大数据面试题
CDH6.3.0上配置各种对象存储
cm-hdfs: ufile: 还需添加jar包     S3:是自带jar包     OSS: CDH6不需要下载包, CDH5需要 core-site.xml 的群集范围高级配置代码段（安全阀）         fs.oss.endpoint oss-eu-west-1.aliyuncs.com              #oss的外网地址fs.oss.accessKeyId fs.

2021-07-27 17:54:03

cdh
Hadoop基础-12-Hive
源码见：https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distr

2021-07-27 15:44:36

数据库大数据hadoop
Hadoop 官方WordCount案例带你手把手的解析
package wordcount_hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapp

2021-07-09 17:26:04

# hadoophadoop
超级经典的SQL练习题（MySQL版本），你还怕SQL不过关吗？
微信搜索公众号【C you again】，回复“SQL”下载无水印PDF版本，方便收藏 ## 1 数据表 #### 1.1 学生表 Student（SId，Sname，Sage，Ssex） > SId 学生编号，Sname 学生姓名，Sage 出生年月，Ssex 学生性别 #### 1.2 课程表 Course（CId，Cname，TId） > CId 课程编号，Cname 课程名称，

2021-07-09 13:36:50

SqlJava
flume的集群部署与测试
flume的集群部署标签（空格分隔）：协作框架[toc]##一：flume介绍：1.1flume的介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume

2021-05-26 16:30:24

flume
数栈技术分享：一文带你了解Flink jm、tm启动过程和资源分配
一、JM启动过程1、从日志角度分析启动流程1）client生成jobGraph详情请参考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到请求(和yarn交互不重点分析)3）在被分配的节点上的工作目录下启动launch_container.sh4）在perJob模式下，最终调用的是YarnJobClusterEntrypoint5）初始

2021-05-26 11:15:33

flink大数据开源项目
部署 完全分布式高可用 Hadoop hdfs HA + yarn HA
部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最

2021-05-13 06:06:27

hadoop HAyarn HA
OLAP引擎：基于Druid组件进行数据统计分析
与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选择合适的组件解决业务需求是优先原则。

2021-04-05 11:09:29

DruidOLAP大数据
数据调度组件：基于Azkaban协调时序任务执行
Azkaban是由Linkedin公司推出的可以管理批量工作流任务的调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

2021-03-30 08:26:23

Azkaban大数据任务调度
记录一次事故处理50%kudu表无法进行正常访问
记录一次事故处理50%kudu表无法进行正常访问测试环境kudu集群事故，影响：测试效果，测试进度，生产发布延迟，需警惕，特此写出过程操作需谨慎！操作需谨慎！操作需谨慎！任务环境都要以生产环境而对待！事故原因：昨天于上午10点，业务说kudu表无法使用后，影响测试，无法正常发布。去scm平台发现kudu_tablet挂了5台运维查看信息日志后，做近一步处理1.重启kudu—tablet发现无法启动

2020-12-21 15:27:43

kudu表无法访问kudu规范kudu_tablet
prometheus + grafana 对flink 进行监控
prometheus+grafana对flink进行监控标签（空格分隔）：flink系列一：flink监控简介二：Flink的Metric架构三：prometheus+grafana的对flink的监控部署构建一：flink监控简介1.1前言Flink提供的Metrics可以在Flink内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢

2020-12-18 09:37:32

flinkprometheus grafana
CDH6.3.2 集成 Freeipa 的kerberos
CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPAkerberoscdh6.3.2
将大数据学习门槛降到了地平线
可能是Hadoop hdfs mapreduce最亲民的介绍

2020-10-29 21:14:14

hadoophdfsmapreduce
大数据PAZR集成ldap实操！what？
大数据PAZR集成ldap实操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH运维zepplinepresto
Hadoop 之 HDFS
1HDFS概述1.1HDFS产出背景及定义随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式

2019-09-07 00:55:36

HDFS
大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例
大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

2018-04-08 22:36:04

大数据HadoopMapReduce
详解Linux运维工程师高级篇（大数据安全方向）
详解linux运维工程师高级篇（大数据安全方向）

2018-02-07 18:57:15

大数据安全kerberos
Hadoop运维记录系列(二十一)
Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思，该客户中国分公司的人为了验证内网安全性，从国外找了一个渗透测试小组对Zeppelin和其他产品进行黑客测试，结果发现Zeppelin主要俩问题，一个是在内网没用https，一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题，zeppelin本来就是干这个用的。但是渗透小组不

2017-11-02 19:25:32

hadoop zeppelin hack
大数据实践总结－－两个故障的处理及思路总结
已经有一段时间没有更新实践内容了，不是因为没有在学习。而是工作上出现一个新的挑战，又在忙论文查重，论文也是大数据方向的，主要是ICT方向的一个技术（若有人感兴趣，我会另开一个帖子来详细谈这个内容）。 而且最近，把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利，但没想到，还是出了许多问题。一些简单的问题就直接解决了，但仍是有两

2017-09-26 23:24:31

实践大数据
Apache Bigtop再论与卖书求生存
快一年没写博客了，终于回来了，最近因公司业务需要，要基于cdh发行版打包自定义patch的rpm，于是又搞起了bigtop，就是那个hadoop编译打包rpm和deb的工具，由于国内基本没有相关的资料和文档，所以觉得有必要把阅读bigtop源码和修改的思路分享一下。我记得很早以前，bigtop在1.0.0以前版本吧，是用make进行打包的，其实这个0.9.0以前的版本，搁我觉得就不应该出现在apa

2016-12-30 15:22:50

apachehadoopbigtop
hadoop源码解析---INodeReference机制
本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，并且这个文件或者目录被重命名或者移动到其他路径时，该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的

2016-07-07 00:27:38

源代码快照hdfs
logstash将Kafka中的日志数据订阅到HDFS
前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中

2016-07-06 11:18:14

hadooplogstashkafka
hadoop+zookepper实现namenode的高可用
Hadoop+zookeepker安装与配置:在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.pu

2016-02-05 11:38:09

HAhadoopzookeeper
Hadoop运维记录系列(十七)
上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

2015-11-13 19:00:35

运维hadoopspark
使用flume替代原有的scribe服务
以前很多业务都是用scribe做日志收集的支撑的，后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了，各种坑，正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe，但是失去了官方支持毕竟还是很闹心的。agent.channels=c1 agent.channels.c1.

2015-07-13 14:50:53

日志收集hadoop
去除Hadoop-Streaming行末多余的TAB
单位有一组业务一直都是使用Streaming压缩文本日志，大体上就是设置作业输出为BZ2格式，怎么输入就怎么输出，没有任何处理功能在里面。但是每行结尾都多出来一个TAB。终于，有一个业务需要使用TAB前的最后一个字段，不去掉不行了。 虽然是个小问题，但是网上搜了一圈，也没有很好的解决。很多人都遇到了，但是单位的业务比较特殊，只有map没有red

2015-01-10 23:45:27

hadoopstreaming去除多余的Tab
hadoop jetty的应用
在hadoop中很多地方都用到了servlet，并且使用jetty作为servlet的容器来提供http的服务，其主要是通过org.apache.hadoop.http.HttpServer类实现的，HttpServer类是对Jetty的简单封装，通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能：publ

2014-12-22 21:57:20

hadoop jett
使用shell并发上传文件到hdfs
从本地到hdfs的并发脚本相关说明及代码实现。

2014-12-14 16:09:08

shellputhadoop
利用开源日志收集软件fluentd收集日志到HDFS文件系统中
利用开源的日志收集系统fluentd，把日志写入到HDFS文件系统中！

2014-12-04 16:27:46

hadoophdfs日志收集
DataNode与NameNode交互机制相关代码分析
HDFS Federation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block

2014-11-25 11:23:18

hadoop
DataNode文件系统源码分析
在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1)首先说下org.apache.hadoop.hdfs.server.

2014-11-12 10:36:04

hadoop源码分析
利用pig分析cdn访问日志内指定时间段的url访问次数
利用pig分析cdn访问日志，找到指定时间段内，各个url访问次数，并且按照从大到小的次序排列！

2014-11-03 09:55:03

hadooppig
MRv2内存监控强杀Container问题解决
线上某个hive job运行失败,报错如下Container[pid=28474,containerID=container_1411897705890_0181_01_000012]isrunningbey

2014-10-24 14:27:40

hadoop
sudo bug导致的zabbix断图问题
线上使用zabbix的host update来监测监控值是否完整（关于host update的实现请参考：http://caiguangguang.blog.51cto.com/1652935/1345789）一直发现有机器过一段时间update值就会莫名其妙变低，之前一直没有找到rc，只是简单通过重启agent来进行修复，最近同事细心地发现可能是和sudo的bug有关系。回过头再来

2014-10-22 23:53:02

sudo bug zabbix丢失值
hadoop插件sqoop使用案例
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我安装的是hadoop-0.20.2版本，sqo

2014-10-22 16:41:47

mysqlhadoophdfs
你用pig分析access_log日志中ip访问次数
你用pig分析web访问日志demo

2014-10-14 13:52:43

hadooppig
上一页 1 23 4
点赞

51CTO技术栈公众号

业务
速览
在线客服