注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

zjcjack的博客

 
 
 

日志

 
 

10分钟从无到有搭建hadoop环境并测试mapreduce  

2012-06-22 20:02:34|  分类: hadoop |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

安装测试本地单机hadoop。
花费时间:10分钟
前提
java环境已经准备好

hadoop有三种运行方式,单机版包括直接本地运行,假多点环境,多点集群环境。本文测试第一种方法,快速部署hadoop应用。

开始:
下载
wget http://labs.renren.com/apache-mirror/hadoop/common/hadoop-1.0.3/hadoop-1.0.3.tar.gz
60MB大小
解压
tar -zxvf hadoop-1.0.3.tar.gz

配置
[zhouhh@Hadoop48 ~]$ echo $JAVA_HOME
/usr/java/jdk1.7.0

cd hadoop-1.0.3
[zhouhh@Hadoop48 hadoop-1.0.3]$ vi conf/hadoop-env.sh
#将注释去掉,设置JAVA_HOME环境变量
export JAVA_HOME=/usr/java/jdk1.7.0

测试:
[zhouhh@Hadoop46 hadoop-1.0.3]$ ./bin/hadoop
Usage: hadoop [--config confdir] COMMAND

执行例子程序中的grep

[zhouhh@Hadoop48 hadoop-1.0.3]$ mkdir input
[zhouhh@Hadoop48 hadoop-1.0.3]$ cp conf/* input
[zhouhh@Hadoop48 hadoop-1.0.3]$ ./bin/hadoop jar hadoop-examples-1.0.3.jar grep input output ‘[a-z.]+’
12/05/22 18:03:32 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/05/22 18:03:32 WARN snappy.LoadSnappy: Snappy native library not loaded

[zhouhh@Hadoop46 hadoop-1.0.3]$ cat output/*
117 value
99 property
91 name
88 description
85 the
77 of

测试mapreduce 例子wordcount,单词计数:

[zhouhh@Hadoop46 hadoop-1.0.3]$ rm -r output
[zhouhh@Hadoop46 hadoop-1.0.3]$ ./bin/hadoop jar hadoop-examples-1.0.3.jar wordcount input output
12/05/22 18:32:54 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/05/22 18:32:55 INFO input.FileInputFormat: Total input paths to process : 16

12/05/22 18:33:47 INFO mapred.JobClient: Map output records=2587
[zhouhh@Hadoop46 hadoop-1.0.3]$

可以看到花费将近1分钟计算单词数

[zhouhh@Hadoop46 hadoop-1.0.3]$ ls output/
part-r-00000 _SUCCESS

[zhouhh@Hadoop46 hadoop-1.0.3]$ cat output/*
“”. 4
“*” 10
“alice,bob 10
“console” 1
“hadoop.root.logger”. 1
“jks”. 4

which 17
who 3
will 8
with 5
worker 1
would 7
xmlns:xsl=”http://www.w3.org/1999/XSL/Transform” 1
you 1

10分钟内完成。

  评论这张
 
阅读(857)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017