IEEE Spectrum的第三次“***编程语言”中，C语言居首，有人说是大数据赢了。本文将探讨c与大数据的开发实践。大数据是使用工具和技术处理大量和复杂数据集合的术语。能够处理大量数据的技术称为MapReduce。
大数据何时使用MapReduce
大概有如下场景会应用到MapReduce：
Apache Hadoop
开发MapReduce解决方案，推荐使用Hadoop，它已经是事实上的标准，同时也是开源免费的软件。
还有其他多个优点：
- 成本效益：不需要任何专门和奇特的硬件，因为软件在正常的硬件都运行正常
- 容错：如果有节点出现问题，其它节点可以接收它的工作，整个集群继续处理。
本文中我们将使用PHP做为主开发语言。
Apache Hadoop的安装配置超出了本文范围。您可以根据自己的平台，在线轻松找到很多文章。为了保持简单，我们只讨论大数据相关的事。
映射器的任务是将输入转换成一系列的键值对。比如在字计数器的情况下，输入是一系列的行。我们按单词将它们分开，把它们变成键值对(如key:word,value:1),看起来像这样：
- the 1
- water 1
- on 1
- on 1
- water 1
- on 1
- ... 1
reducer
mapping和reducing的整个过程看起来有点像这样，请看下列之图表：
使用PHP做单词计数器
执行以下命令下载这本书：
- wget http://www.gutenberg.org/cache ... 1.txt
我们的PHP代码从mapper开始
- #!/usr/bin/php
- <?php
- // iterate through lines
- while($line = fgets(STDIN)){
- // remove leading and trailing
- $line = ltrim($line);
- $line = rtrim($line);
- // split the line in words
- $words = preg_split('/\s/', $line, -1, PREG_SPLIT_NO_EMPTY);
- // iterate through words
- foreach( $words as $key ) {
- // print word (key) to standard output
- // the output will be used in the
- // reduce (reducer.php) step
- // word (key) tab-delimited wordcount (1)
- printf("%s\t%d\n", $key, 1);
- }
- }
- ?>
你可以通过使用某些命令和管道的组合来在本地轻松测试脚本。
- head -n1000 pg2701.txt | ./mapper.php | sort | ./reducer.php
输出将存储在文件夹hello / result中，可以通过执行以下命令查看
- hdfs dfs -cat hello/result/part-00000
下一个例子是一个更实际的例子，虽然数据集相对较小，但是相同的逻辑可以很容易地应用于具有数百个数据点的集合上。 我们将尝试计算过去五十年的黄金年平均价格。
在HDFS(Hadoop分布式文件系统)中创建一个工作目录
- hadoop dfs -mkdir goldprice
我的reducer看起来像这样
- #!/usr/bin/php
- <?php
- // iterate through lines
- while($line = fgets(STDIN)){
- // remove leading and trailing
- $line = ltrim($line);
- $line = rtrim($line);
- // regular expression to capture year and gold value
- preg_match("/^(.*?)\-(?:.*),(.*)$/", $line, $matches);
- if ($matches) {
- // key: year, value: gold price
- printf("%s\t%.3f\n", $matches[1], $matches[2]);
- }
- }
- ?>
像单词统计样例一样，我们也可以在本地测试
- head -n1000 data.csv | ./mapper.php | sort | ./reducer.php
查看平均值
- hdfs dfs -cat goldprice/result/part-00000
我们经常会将结果转换成图表。 对于这个演示，我将使用gnuplot，你可以使用其它任何有趣的东西。
创建一个gnu plot配置文件(gold.plot)并复制以下内容
- # Gnuplot script file for generating gold prices
- set terminal png
- set output "chart.jpg"
- set style data lines
- set nokey
- set grid
- set title "Gold prices"
- set xlabel "Year"
- set ylabel "Price"
- plot "gold.dat"
这会生成一个名为chart.jpg的文件。看起来像这样：
