51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

Hadoop 数据迁移用法详解

作者： 柯同学
大数据 Hadoop
需要将数据源集群的/etc/hosts中的hadoop节点拷贝到目标集群所有节点的/etc/hosts中，保证新集群所有节点可以ping同老集群所有节点;

[[404804]]

目录

  • 一般用法
  • hive数据迁移
  • Export/Import方式
  • 同步元数据
  • 总结

数据迁移使用场景

  • 冷热集群数据分类存储,详见上述描述.
  • 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等.
  • 数据的准实时同步.数据的准实时同步与上一点的不同在于第二点可以一次性操作解决,而准实时同步需要定期同步,而且要做到周期内数据基本完全一致.数据准实时同步的目的在于数据的双备份可用,比如某天A集群突然宣告不允许再使用了,此时可以将线上使用集群直接切向B的同步集群,因为B集群实时同步A集群数据,拥有完全一致的真实数据和元数据信息,所以对于业务方使用而言是不会受到任何影响的.

hadoop 集群间拷贝数据：

需要将数据源集群的/etc/hosts中的hadoop节点拷贝到目标集群所有节点的/etc/hosts中，保证新集群所有节点可以ping同老集群所有节点;

  1. hadoop distcp hdfs://qcloud-hadoop02:9000/hive/warehouse/hm2.db/helper/dt=2018-10-17 /data 

说明：我们这里是apache hadoop 到cdh数据迁移，这个命令仍然是可以用的。

一般用法

1、迁移之前需要把两个集群的所有节点都互通/etc/hosts文件(重要，包括各个数据节点)

2、配置当前集群主节点到老集群各个节点的ssh免密登陆(可选)

3、由于老集群是HDP2.7.1，新集群是cdh5.8.5,版本不同，不能用hdfs协议直接拷贝，需要用http协议 即不能用：distcp hdfs://src:50070/foo /user而要用：distcp hftp://src:50070/foo /user最终的命令为：

  1. hadoop distcp hftp://192.168.57.73:50070/hive3/20171008 /hive3/ 

4、如果两个集群的版本相同，则可以使用hdfs协议，命令如下：

  1. hadoop distcp hdfs://namenodeip:9000/foo hdfs://namenodeip:9000/foo 

5、由于迁移数据运行了mr任务，对集群资源有一定的消耗

DistCp优势特性

1 带宽限流

DistCp是支持带宽限流的,使用者可以通过命令参数bandwidth来为程序进行限流,原理类似于HDFS中数据Balance程序的限流.

2 增量数据同步

对于增量数据同步的需求,在DistCp中也得到了很好的实现.通过update,append和diff2个参数能很好的解决.官方的参数使用说明:

  • Update: Update target, copying only missing files or directories
  • Append: Reuse existing data in target files and append new data to them if possible.
  • Diff: Use snapshot diff report to identify the difference between source and target.

第一个参数,解决了新增文件目录的同步;第二参数,解决已存在文件的增量更新同步;第三个参数解决删除或重命名文件的同步.

这里需要额外解释一下diff的使用需要设置2个不同时间的snapshot进行对比,产生相应的DiffInfo.在获取快照文件的变化时,只会选择出DELETE和RENAME这2种类型的变化信息.

相同hadoop版本同步数据

  1. hadoop distcp -skipcrccheck -update -m 20 hdfs://dchadoop002.dx:8020/user/dc/warehouse/test /user/dc/warehouse/test 

不同hadoop版本同步数据

  1. hadoop distcp -skipcrccheck -update -m 20 hftp://ns1/user/test /user/dc/test 

参数:

  1. -m 表示并发数 
  2.  
  3. -skipcrccheck 跳过hdfs校验 
  4.  
  5. -update 更新文件 

理源路径的方式与默认值不同，有些细节需要注意。这里给出一些 -update和 -overwrite的例子。考虑从/source/first/ 和 /source/second/ 到 /target/的拷贝，源路径包括：

  1. hdfs://nn1:8020/source/first/1 
  2. hdfs://nn1:8020/source/first/2 
  3. hdfs://nn1:8020/source/second/10 
  4. hdfs://nn1:8020/source/second/20 

当不使用-update或-overwrite选项时，DistCp默认会在/target下创建/first和/second目录。因此将在/target之前先创建目录。

从而：

  1. hadoop distcp hdfs://nn1:8020/source/first hdfs://nn1:8020/source/second hdfs://nn2:8020/target 

上述命令将在/target中生成以下内容：

  1. hdfs://nn2:8020/target/first/1 
  2. hdfs://nn2:8020/target/first/2 
  3. hdfs://nn2:8020/target/second/10 
  4. hdfs://nn2:8020/target/second/20 

当指定-update或-overwrite时，源目录的内容将复制到目标，而不是源目录本身。

从而：

  1. distcp -update hdfs://nn1:8020/source/first hdfs://nn1:8020/source/second hdfs://nn2:8020/target 

上述命令将在/ target中生成以下内容：

  1. hdfs://nn2:8020/target/1 
  2. hdfs://nn2:8020/target/2 
  3. hdfs://nn2:8020/target/10 
  4. hdfs://nn2:8020/target/20 

如果设置了这两个选项，每个源目录的内容都会和目标目录的内容做比较。如果两个源文件夹都包含一个具有相同名称的文件(例如“0”)，那么这两个源文件将在目的地映射到同一个目录：/target/0。DistCp碰到这类冲突的情况会终止操作并退出。现在，请考虑以下复制操作：

  1. distcp hdfs://nn1:8020/source/first hdfs://nn1:8020/source/second hdfs://nn2:8020/target 

其中源路径/大小:

  1. hdfs://nn1:8020/source/first/1 32 
  2.  
  3. hdfs://nn1:8020/source/first/2 32 
  4.  
  5. hdfs://nn1:8020/source/second/10 64 
  6.  
  7. hdfs://nn1:8020/source/second/20 32 

和目的路径/大小:

  1. hdfs://nn2:8020/target/1 32 
  2. hdfs://nn2:8020/target/10 32 
  3. hdfs://nn2:8020/target/20 64 

会产生:

  1. hdfs://nn2:8020/target/1 32 
  2. hdfs://nn2:8020/target/2 32 
  3. hdfs://nn2:8020/target/10 64 
  4. hdfs://nn2:8020/target/20 32 

文件“1”因为文件长度和内容匹配而被跳过。文件“2”被复制，因为它不存在/target中。因为目标文件内容与源文件内容不匹配，文件“10”和文件“20”被覆盖。如果使用-update 选项，文件“1”也被覆盖。

3 高效的性能

执行的分布式特性

高效的MR组件

hive数据迁移

1.hive数据export到hdfs

  1. export table hm2.helper to '/tmp/export/hm2/helper'; 

如下：

  1. hive> export table hm2.helper to '/tmp/export/hm2/helper'; 
  2. Copying data from file:/app/data/hive/tmp/scratchdir/ce4c15d9-6875-40ed-add4-deedd75a4a92/hive_2018-10-26_10-58-21_552_8465737459112285307-1/-local-10000/_metadata 
  3. Copying file: file:/app/data/hive/tmp/scratchdir/ce4c15d9-6875-40ed-add4-deedd75a4a92/hive_2018-10-26_10-58-21_552_8465737459112285307-1/-local-10000/_metadata 
  4. Copying data from hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=13/msgtype=helper 
  5. Copying data from hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper 
  6. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00001 
  7. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00003 
  8. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00004 
  9. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00005 
  10. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00006 
  11. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00007 
  12. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00008 
  13. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00009 
  14. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00010 
  15. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00011 
  16. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00012 
  17. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00013 
  18. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00014 
  19. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00015 
  20. Copying data from hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-13/hour=13/msgtype=helper 
  21. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-13/hour=13/msgtype=helper/part-m-00002 
  22. Copying data from hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-13/hour=14/msgtype=helper 
  23. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-13/hour=14/msgtype=helper/part-m-00000 
  24. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-13/hour=14/msgtype=helper/part-m-00002 
  25. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-13/hour=14/msgtype=helper/part-m-00006 
  26. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-13/hour=14/msgtype=helper/part-m-00016 
  27. Copying data from hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-22/hour=08/msgtype=helper 
  28. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-22/hour=08/msgtype=helper/part-m-00006 
  29. Copying data from hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-22/hour=09/msgtype=helper 
  30. Copying file: hdfs://nameser/hive/warehouse/hm2.db/helper/dt=2018-06-22/hour=09/msgtype=helper/part-m-00000 
  31. OK 
  32. Time taken: 1.52 seconds 

2.集群间数据复制

需要保证原始集群目录有读权限，新的集群复制保存目录有写权限:

  1. 两个集群都要赋权 
  2. hdfs dfs -chmod -R 777 /tmp/export/* 
  3. hdfs dfs -chmod -R 777 /tmp/export/* 

数据复制

  1. hadoop distcp hdfs://qcloud-test-hadoop01:9000/tmp/export/hm2 /tmp/export 

3.数据导入hive

在源hive show create table tbName显示建表语句，用语句在目标hive建表，然后倒入数据：

  1. import table hm2.helper from '/tmp/export/hm2/helper'; 

成功：

  1. hive> import table hm2.helper from '/tmp/export/hm2/helper'; 
  2. Copying data from hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=13/msgtype=helper 
  3. Copying data from hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper 
  4. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00001 
  5. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00003 
  6. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00004 
  7. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00005 
  8. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00006 
  9. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00007 
  10. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00008 
  11. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00009 
  12. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00010 
  13. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00011 
  14. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00012 
  15. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00013 
  16. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00014 
  17. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-12/hour=14/msgtype=helper/part-m-00015 
  18. Copying data from hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-13/hour=13/msgtype=helper 
  19. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-13/hour=13/msgtype=helper/part-m-00002 
  20. Copying data from hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-13/hour=14/msgtype=helper 
  21. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-13/hour=14/msgtype=helper/part-m-00000 
  22. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-13/hour=14/msgtype=helper/part-m-00002 
  23. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-13/hour=14/msgtype=helper/part-m-00006 
  24. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-13/hour=14/msgtype=helper/part-m-00016 
  25. Copying data from hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-22/hour=08/msgtype=helper 
  26. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-22/hour=08/msgtype=helper/part-m-00006 
  27. Copying data from hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-22/hour=09/msgtype=helper 
  28. Copying file: hdfs://qcloud-cdh01.2144.com:8020/tmp/export/hm2/helper/dt=2018-06-22/hour=09/msgtype=helper/part-m-00000 
  29. Loading data to table hm2.helper partition (dt=2018-06-12, hour=13, msgtype=helper) 
  30. Loading data to table hm2.helper partition (dt=2018-06-12, hour=14, msgtype=helper) 
  31. Loading data to table hm2.helper partition (dt=2018-06-13, hour=13, msgtype=helper) 
  32. Loading data to table hm2.helper partition (dt=2018-06-13, hour=14, msgtype=helper) 
  33. Loading data to table hm2.helper partition (dt=2018-06-22, hour=08, msgtype=helper) 
  34. Loading data to table hm2.helper partition (dt=2018-06-22, hour=09, msgtype=helper) 
  35. OK 
  36. Time taken: 4.966 seconds 

这样就可以在新的hive中执行：

  1. select count(*) from hm2.helper; 

只导出某一个分区

  1. 导出数据 
  2. export table hm2.helper partition(dt='2017-12-16') to '/tmp/export/helper_2017-12-16' ; 
  3. 数据复制 
  4. hadoop distcp hdfs://dc1.xx.com:8020/tmp/export/ hdfs://dc2.xx.com:8020/tmp/export 
  5. 数据导入 
  6. import table hm2.helper partition(dt='2017-12-16') from '/tmp/export/helper_2017-12-16' 

与load data [local] inpath path path2 剪切数据不同，import命令其实是从目标/tmp/export/hm2/helper复制到/user/hive/warehouse/hm2.db/helper，这时候可以把/tmp/export/hm2/helper目录删掉了。

==可以使用hive export/import 进行hive数据的批量迁移，本实验测试了text，orc，parquet，分区表，并测试了不同版本的导入导出。理论上hive导入导出的数据迁移不受版本，数据格式以及表的限制，可以得出结论可以适应hive export/import进行任何hive数据的迁移==

参考链接：https://blog.csdn.net/u9999/article/details/78830818

hbase数据迁移

HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类：

从上面图中可看出，目前的方案主要有四类，Hadoop层有一类，HBase层有三类。实际中用了hbase层的Export / Import方法，这里介绍一下。

Export/Import方式

源(测试)集群每个节点可以识别目标集群每个节点

源集群hbase执行

  1. hbase org.apache.hadoop.hbase.mapreduce.Export 'hm2:test' hdfs://qcloud-hadoop02:9000/tmp/hbase_export/test 

注意：这里路径需要带hdfs://nameser/path ，否则就export 到本地了，下同。

目标集群hbase执行

  1. hbase org.apache.hadoop.hbase.mapreduce.Import 'hm2:test' hdfs://qcloud-hadoop02:9000/tmp/hbase_export/test 

或者

目标集群每个节点可以识别源(测试)集群每个节点

源集群hbase执行

  1. hbase org.apache.hadoop.hbase.mapreduce.Export 'hm2:test' hdfs://qcloud-test-hadoop01:9000/tmp/hbase_export/test 

目标集群hbase执行

  1. hbase org.apache.hadoop.hbase.mapreduce.Import 'hm2:test' hdfs://qcloud-test-hadoop01:9000/tmp/hbase_export/test 

同步元数据

因为分区信息发生了改变，元信息没有同步。

数据导入到指定的文件夹之后，修复分区和表的元信息，(没有使用rbuy的各种脚本，0.9之后就D了，)

  1. hbase hbck -fixTableOrphans 'hm2:test' 
  2. hbase hbck -fixMeta 'hm2:test' 
  3. hbase hbck -fixAssignments 'hm2:test' 
  4. hbase hbck -repair 'hm2:test' 

总结

上文把HBase数据迁移过程中常用的一些方法作了一个大概介绍，总结起来就四点：

  • DistCp: 文件层的数据同步，也是我们常用的
  • CopyTable: 这个涉及对原表数据Scan，然后直接Put到目标表，效率较低
  • Export/Import: 类似CopyTable, Scan出数据放到文件，再把文件传输到目标集群作Import
  • Snapshot: 比较常用 ， 应用灵活，采用快照技术，效率比较高

具体应用时，要结合自身表的特性，考虑数据规模、数据读写方式、实时数据&离线数据等方面，再选择使用哪种。

资料

 

https://www.cnblogs.com/felixzh/p/5920153.html http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

 

责任编辑：武晓燕 来源： Java大数据与数据仓库
Hadoop数据迁移
相关推荐
常见Hadoop Shell命令用法详解
在学习Hadoop的过程中，你可能会遇到Hadoop命令问题，这里就向大家介绍一些常见HadoopShell命令，希望本文的介绍对你的学习有所帮助。

2010-06-03 17:08:28

Hadoop Shel
经验总结 迁移Hadoop0.20.2问题详解
Hadoop你是否熟悉，那么Hadoop0.20.2呢，这里向大家介绍一下迁移到Hadoop0.20.2后的一些感想，欢迎大家一起来学习Hadoop0.20.2方面的知识。

2010-06-07 15:48:40

Hadoop0.20.
自建Hadoop集群迁移到EMR之数据迁移篇
自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hivemeta数据如何迁移。需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。

2018-02-02 16:15:02

Hadoop数据迁移集群
Hadoop工具让数据仓库迁移更轻松
从高成本数据仓库将任务卸载有时被看做是Hadoop商用集群的首要目标。迁移提取、转换、加载(ETL)、查询以及报告工作并不能显著改变商业模式，但它可能会抑制数据仓库的增长和成本。

2016-11-14 10:23:08

Hadoop工具大数据数据仓库
实例讲解Hadoop用法
Hadoop你是否了解，本文通过实例就向大家介绍一下Hadoop方面的知识，希望本文的介绍对你的学习有所帮助，欢迎大家一起来学习Hadoop。

2010-06-03 18:22:38

Hadoop
Oracle跨平台迁移结构而不迁移数据方法详解
Oracle良好的应用性赢得了众多DBA的青睐，但是如何实现Oracle跨平台迁移结构而不迁移数据，却是本文讨论的问题。

2010-03-09 09:49:01

Oracle跨平台迁移
大数据 Hadoop 环境搭建图文详解
本篇使用大数据Hadoop2.7.2环境搭建,希望能够帮助到你！

2022-10-14 15:44:03

大数据Hadoop
Linode 实时迁移详解
借助实时迁移技术，Linode实例可在不中断服务的前提下在不同物理服务器之间移动。通过实时迁移工具移动Linode实例时，迁移过程对Linode实例中运行的进程是完全不可见的。这几乎成为一种决定性的技术，也成为云技术和非云技术之间的转折点。本文我们将深入了解这项技术背后的细节。​

2023-08-07 14:28:42

技术迁移
Flex中Number数据类型用法详解
本文重点向大家介绍一下Flex中Number数据类型的概念，在ActionScript3.0中，Number数据类型可以表示整数、无符号整数和浮点数。

2010-08-13 14:58:01

FlexNumber数据类型
Hadoop配置和启动Hadoop方法详解
Hadoop相信大家应该有所了解，那么如何进行Hadoop配置，如何启动Hadoop呢，本文会给你一一解答，欢迎大家一起来学习。

2010-06-03 15:39:47

Hadoop配置
Windows Azure迁移计划详解
WindowsAzure是一个由微软数据中心提供的一个Internet级别的计算和服务平台。因为通过使用WindowsAzure,微软会维护所有底层的操作系统、硬件、网络、存储资源并且会不断的更新这个平台，因此开发和系统管理人员不再需要为底层的软件和硬件基础构架操心。本文将实现为WindowsAzure制定的迁移计划。

2012-11-22 14:38:44

Windows Azu
DIV标签用法详解
本文向大家介绍一下DIV标签的使用，DIV标签称为区隔标记，DIV标签应用于StyleSheet（式样表）方面会更显威力，它最终目的是给设计者另一种组织能力，有Class;Style;title;ID等属性。

2010-08-24 10:01:05

DIV
CSS padding用法详解
本文向大家介绍一下CSSpadding用法，padding属性是CSS用于在一个声明中设置所有padding属性的简写属性，希望本文介绍对你有所帮助。

2010-08-24 08:47:20

paddingCSS
hadoop Shell命令详解
调用文件系统(FS)Shell命令应使用binhadoopfs的形式。所有的的FSshell命令使用URI路径作为参数……

2014-08-06 09:57:15

hadoop ShelShell命令
常见SVN用法详解
你对SVN用法熟悉吗？这里向大家介绍一下版本管理工具SVN用法择要，希望通过本文的学习大家对SVN用法有更清晰的认识，欢迎大家一起来学习。

2010-06-02 13:24:02

SVN用法
数据库DynamoDB的迁移全过程详解
本文和你深入探讨了DynamoDB迁移的工作原理，以及它与其他数据库的区别。同时，本文也讨论了回填历史数据，并将数据流更改传输到另一个数据库的不同方法。最后，我们还利用AWS工具探讨了端到端迁移。

2024-08-27 08:00:00

学习笔记 Hadoop组成详解
Hadoop你是否熟悉，这里先大致介绍一下Hadoop，先说一下Hadoop的来龙去脉，以及Hadoop主要包含的内容，欢迎大家一起来学习Hadoop。

2010-06-03 11:12:55

Hadoop
数据库：MySQLDump用法详解，你学会了吗？
mysql版本大于5.6的话，增加的安全提醒机制，则会出现警告：Warning:Usingapasswordonthecommandlineinterfacecanbeinsecure.使用mysqldump命令备份MySQL数据库时，我们使用了p参数带上了密码，这样虽然可以快速备份，但是密码会在命令行中明文可见，容易被窃取。

2023-07-03 07:20:50

Oracle数据库中序列(SEQUENCE)的用法详解
在Oracle数据库中，序列的用途是生成表的主键值，可以在插入语句中引用，也可以通过查询检查当前值，或使序列增至下一个值。本文我们主要介绍了序列的用法，希望能够对您有所帮助。

2011-08-03 13:11:10

Oracle数据库序列
详解Perl控制结构用法
Perl语言中的Perl控制结构有很多值得学习的地方，你对Perl控制结构的用法是否熟悉，这里和大家分享一下，希望通过本文介绍对你有所帮助。

2010-07-16 09:50:23

Perl控制结构
点赞
收藏

51CTO技术栈公众号

业务
速览
在线客服