ubuntu14.10 Hadoop(CDH5) install
2015/06/29 Mon. 00:13 [edit]
HadoopをApacheでは無くClouderaの方で入れてみました。
手順は以下のサイトを参考に。
ほどんどそのままでexample実行まで出来ました。
http://azwoo.hatenablog.com/entry/2015/06/03/152624
一部コマンドでsudoが必要だったり、mapになってるのでsudoが不要だったりしますが、とりあえず問題はありません。
インストールしたパッケージのバージョンを確認したところ、
結構ちゃんと最新が入りますね。
インストール等はとても楽ですが、全部入りっていうくらい色々入っててサイズはデカイかもしれません。
Clouderaの良い所は、64bitOSでビルドしなくても最新のパッケージが使えるところですね!
mvnとか自分でやるのであればapacheから落としてきても問題ないですが。
ps.hadoop1.xのexampleだったwordcountはhadoop-examples.jarに置き換わったんですね。
手順は以下のサイトを参考に。
ほどんどそのままでexample実行まで出来ました。
http://azwoo.hatenablog.com/entry/2015/06/03/152624
一部コマンドでsudoが必要だったり、mapになってるのでsudoが不要だったりしますが、とりあえず問題はありません。
インストールしたパッケージのバージョンを確認したところ、
map@junk-VirtualBox:~$ hadoop version
Hadoop 2.6.0-cdh5.4.2
Subversion http://github.com/cloudera/hadoop -r 15b703c8725733b7b2813d2325659eb7d57e7a3f
Compiled by jenkins on 2015-05-19T23:59Z
Compiled with protoc 2.5.0
From source with checksum de74f1adb3744f8ee85d9a5b98f90d
This command was run using /usr/lib/hadoop/hadoop-common-2.6.0-cdh5.4.2.jar
map@junk-VirtualBox:~$
結構ちゃんと最新が入りますね。
インストール等はとても楽ですが、全部入りっていうくらい色々入っててサイズはデカイかもしれません。
Clouderaの良い所は、64bitOSでビルドしなくても最新のパッケージが使えるところですね!
mvnとか自分でやるのであればapacheから落としてきても問題ないですが。
ps.hadoop1.xのexampleだったwordcountはhadoop-examples.jarに置き換わったんですね。
スポンサーサイト
category: 未分類
| h o m e |