Twitter Storm进阶初步设置

运维 系统运维
本篇Blog是一个简单的Storm入门例子,目的让读者明白Storm是怎样的运行机制。以及后续会放出的几篇Storm高级特性以及最终将Storm融入Hadoop 2.x的YARN中。目的读者是已经进阶大数据的Hadoop,Spark用户,或者了解Storm想深入理解Storm的读者用户。

[[111555]]

本篇Blog是一个简单的Storm入门例子,目的让读者明白Storm是怎样的运行机制。以及后续会放出的几篇Storm高级特性以及最终将Storm融入Hadoop 2.x的YARN中。目的读者是已经进阶大数据的Hadoop,Spark用户,或者了解Storm想深入理解Storm的读者用户。

项目Pom(Storm jar没有提交到Maven中央仓库,需要在项目中加入下面的仓库地址):

 

  1. <repositories> 
  2. <repository> 
  3. <id>central</id> 
  4. <name>Maven Repository Switchboard</name> 
  5. <layout>default</layout> 
  6. <url>http://maven.oschina.net/content/groups/public/</url> 
  7. <snapshots> 
  8. <enabled>false</enabled> 
  9. </snapshots> 
  10. </repository> 
  11. <repository> 
  12. <id>clojars</id> 
  13. <url>https://clojars.org/repo/</url> 
  14. <snapshots> 
  15. <enabled>false</enabled> 
  16. </snapshots> 
  17. <releases> 
  18. <enabled>true</enabled> 
  19. </releases> 
  20. </repository> 
  21. </repositories> 
  22. <dependencies> 
  23. <dependency> 
  24. <groupId>org.yaml</groupId> 
  25. <artifactId>snakeyaml</artifactId> 
  26. <version>1.13</version> 
  27. </dependency> 
  28. <dependency> 
  29. <groupId>org.apache.zookeeper</groupId> 
  30. <artifactId>zookeeper</artifactId> 
  31. <version>3.3.3</version> 
  32. </dependency> 
  33. <dependency> 
  34. <groupId>org.clojure</groupId> 
  35. <artifactId>clojure</artifactId> 
  36. <version>1.5.1</version> 
  37. </dependency> 
  38. <dependency> 
  39. <groupId>storm</groupId> 
  40. <artifactId>storm</artifactId> 
  41. <version>0.9.0.1</version> 
  42. </dependency> 
  43. <dependency> 
  44. <groupId>storm</groupId> 
  45. <artifactId>libthrift7</artifactId> 
  46. <version>0.7.0</version> 
  47. </dependency> 
  48. </dependencies> 

下面是一个Storm的HelloWord的例子,代码有删减,熟悉Storm的读者自然能把代码组织成一个完整的例子。

  1. public static void main(String[] args) { 
  2. Config conf = new Config(); 
  3. conf.put(Config.STORM_LOCAL_DIR, "/Volumes/Study/data/storm"); 
  4. conf.put(Config.STORM_CLUSTER_MODE, "local"); 
  5. //conf.put("storm.local.mode.zmq", "false"); 
  6. conf.put("storm.zookeeper.root", "/storm"); 
  7. conf.put("storm.zookeeper.session.timeout", 50000); 
  8. conf.put("storm.zookeeper.servers", "nowledgedata-n15"); 
  9. conf.put("storm.zookeeper.port", 2181); 
  10. //conf.setDebug(true); 
  11. //conf.setNumWorkers(2); 
  12. TopologyBuilder builder = new TopologyBuilder(); 
  13. builder.setSpout("words", new TestWordSpout(), 2); 
  14. builder.setBolt("exclaim2", new DefaultStringBolt(), 5) 
  15. .shuffleGrouping("words"); 
  16. LocalCluster cluster = new LocalCluster(); 
  17. cluster.submitTopology("test", conf, builder.createTopology()); 

 

Config.STORM_LOCAL_DIR是配置一个本地路径,Storm会在这个路径写入一些配置信息和临时数据。

Config.STORM_CLUSTER_MODE是运行模式,local和distributed两个选项,即本地模式和分布式模式。本地模式在运行时时多线程模拟的,开发测试用;分布式模式在分布式集群下是多进程的,真正的分布式。

Storm的Spout和Blot高可用是通过ZooKeeper协调的,storm.zookeeper.root是一个ZooKeeper地址,并且有对应的端口号

Debug是测试模式,有更详细的日志信息。

TestWordSpout是一个Storm自带的例子,用来随机的产生new String[] {“nathan”, “mike”, “jackson”, “golda”, “bertels”};列表中的字符串,用来提供数据源。

其中DefaultStringBolt的源码:

  1. OutputCollector collector; 
  2. public void prepare(Map conf, TopologyContext context, OutputCollector collector) { 
  3. this.collector = collector; 
  4. public void execute(Tuple tuple) { 
  5. log.info("rev a message: " + tuple.getString(0)); 
  6. collector.emit(tuple, new Values(tuple.getString(0) + "!!!")); 
  7. collector.ack(tuple); 

运行日志:

  1. 10658 [Thread-29-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: jackson 
  2. 10658 [Thread-31-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: jackson 
  3. 10758 [Thread-26-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: mike 
  4. 10758 [Thread-33-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: nathan 
  5. 10859 [Thread-26-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: nathan 
  6. 10859 [Thread-29-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: bertels 
  7. 10961 [Thread-31-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: jackson 
  8. 10961 [Thread-33-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: jackson 
  9. 11061 [Thread-35-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: nathan 
  10. 11062 [Thread-35-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: nathan 
  11. 11162 [Thread-26-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: bertels 
  12. 11163 [Thread-26-exclaim2] INFO cn.pointways.dstorm.bolt.DefaultStringBolt - rev a message: jackson 

数据由一个Storm叫做喷嘴(Spout,也相当一个水龙头,能产生数据的来源端)产生,然后传递给后端一连串的的Blot,最终被转换和消费。而Spout和Blot都是并行的,并行度都可以自己设置(本地运行是靠多线程模拟的)。如:

  1. builder.setSpout("words", new TestWordSpout(), 2); 
  2. builder.setBolt("exclaim2", new DefaultStringBolt(), 5) 

喷嘴TestWordSpout的并行度是2,DefaultStringBolt的并行度是5.

从日志可以看出,数据经过喷嘴到达预先定于的一个Blot,打印了日志。我测试代码设置的并行度是5,日志中统计,确实是5个线程:

  1. Thread-29-exclaim2 
  2. Thread-31-exclaim2 
  3. Thread-26-exclaim2 
  4. Thread-33-exclaim2 
  5. Thread-35-exclaim2 

关于Storm是是什么?这里有详细的介绍。

借用OSC网友的话说,Hadoop就是商场里自动升降式的电梯,用户需要排队等待,选按楼层,然后到达;而Storm就像是自动扶梯,扶梯预先设置好运行后,来人就立即运走,目的地是明确的。

Storm按我的理解,Storm和Hadoop是完全不同的,设计上也没有半点拟合的部分。Storm更像是我之前介绍过的Spring Integration,是一个数据流系统。它能把数据按照预设定的流程,把数据做各种转换,传递,分解,合并,***数据到达后端存储。只不过Storm是可以分布式,而且分布式的能力也是可以自己设置。

Storm的这种特性很适合大数据类的ETL系统开发。

责任编辑:黄丹 来源: oschina
相关推荐

2014-04-08 14:21:09

Twitter StoStormStorm 集群

2013-09-05 09:47:35

TwitterSummingbird开源

2012-12-06 10:59:51

大数据

2014-02-14 15:49:03

storm安装部署

2009-12-01 17:36:48

SUSE LINUX

2013-06-25 15:27:50

Linux DeepiLinux Deepi

2022-12-14 09:51:04

Twitter开源

2009-07-17 11:28:07

TwitterGoogle

2017-04-19 12:05:59

2009-02-02 10:08:25

SilverlightTwitterASP.NET

2012-04-11 09:52:32

开源MySQL

2012-09-17 11:23:57

IBMdw

2016-06-13 09:11:50

2009-06-22 09:25:23

2011-12-02 13:04:06

Java

2023-04-04 19:10:29

Twitter算法开源

2023-01-06 08:27:08

Nature推特

2010-07-21 16:40:41

telnet服务

2009-03-03 11:31:21

Twintter集成搜索

2023-03-27 18:22:05

点赞
收藏

51CTO技术栈公众号