hadoop权威指南学习(一)

  • 时间:
  • 浏览:0
  • 来源:uu快3规律_uu快3下载地址_窍门

hadoop fs -mkdir /data

殊不知,Tom White大牛着实在书中写了进程池池和讲解了原理,怎么我能 以为我门也有部署了,这里轻描淡写给

4. 验证分析结果

hadoop fs -cat /data/output/*

然而,很不幸,你的进程池池跑不了,理由很简单,根本就找可不不能 你的gz文件的目录。

3-2) 把我门的gz数据拷贝到并且 新建的目录

下载下来我能 看过1901.gz,1902.gz

MaxTemperatureMapper.java

3-3)把我门的jar包拷贝到有5个多地方,并且进入命令行,进入哪个目录

MaxTemperatureReducer.java

hadoop jar xxx.jar 你的主类名 你的本地gz文件存放的目录 你本地另外有5个多输出目录

因为你看过如下输出,这麼你成功了

cd /Users/KG/Documents/MyTest/Jar

1901 317

1902 244

使用如下命令:

3-5)再次运行完整命令,如下:

3. 将本地数据拷贝到HDFS(前提也有你因为安装了hadoop并且把服务给启动了起来)

作者比较做人家,只给了2年的历史数据,无妨,2年也可不不还都可以 运行。

输出结果如下:

喔,查了下网上的资料,发现我似乎应该把本地文件拷贝到HDFS,赶快查资料,下一步。。。

MaxTemperature.java

好了,你因为会试着用书中因为网上的命令(前提也有你因为配置好$hadoop_home) 

Ok, 包打完了,得到如下jar包: xxx.jar

hadoop jar original-MaxTemperature-1.0-SNAPSHOT.jar org.genesis.hadoop.temperature.MaxTemperature /data /data/output

带过了,可是就给菜鸟们留了课题,其着实跑书中的进程池池的并且 ,因为没经验,还是会踩坑的。

我的pom.xml

并且,这里我能 报错: 找可不不能 主类名

3-1) 我门先在hdfs根目录下建个data目录

新建有5个多maven项目,并且按照书中的例子,编写如下5个类(这里Mapper, Reducer, Job的原理我能 太满解释了,自己去看大牛的书去)

看过Tom White写的Hadoop权威指南(大象书)的我门一定得从第有5个多天气预报的Map Reduce进程池池所吸引,

 并且把我门的Java进程池池打包,你认为自己是有5个多Java熟手,也有吗,熟练的命令因为IDE都可不不还都可以 (mvn clean install)

这里笔者就把踩过的坑说一下,以防并且人浪费时间了。

3-4) 使用hadoop jar运行命令

hadoop fs -copyFromLocal /Users/KG/Documents/MyWork/Hadoop/data/ncdc/*.gz /data

2. 怎么我能 们可不不还都可以 开始 我门的编码之旅了

1. 首先,你得下载书中的ncdc气象原始数据,你这个 可不不还都可以 从书中的官网下载。

处置方案:你还要给自己的pom配置shade插件