スポンサーサイト 

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

category: スポンサー広告

TB: --    CM: --    

ubuntu14.10 Hadoop(CDH5) install 

HadoopをApacheでは無くClouderaの方で入れてみました。

手順は以下のサイトを参考に。
ほどんどそのままでexample実行まで出来ました。
http://azwoo.hatenablog.com/entry/2015/06/03/152624

一部コマンドでsudoが必要だったり、mapになってるのでsudoが不要だったりしますが、とりあえず問題はありません。

インストールしたパッケージのバージョンを確認したところ、

map@junk-VirtualBox:~$ hadoop version
Hadoop 2.6.0-cdh5.4.2
Subversion http://github.com/cloudera/hadoop -r 15b703c8725733b7b2813d2325659eb7d57e7a3f
Compiled by jenkins on 2015-05-19T23:59Z
Compiled with protoc 2.5.0
From source with checksum de74f1adb3744f8ee85d9a5b98f90d
This command was run using /usr/lib/hadoop/hadoop-common-2.6.0-cdh5.4.2.jar
map@junk-VirtualBox:~$


結構ちゃんと最新が入りますね。
インストール等はとても楽ですが、全部入りっていうくらい色々入っててサイズはデカイかもしれません。

Clouderaの良い所は、64bitOSでビルドしなくても最新のパッケージが使えるところですね!
mvnとか自分でやるのであればapacheから落としてきても問題ないですが。

ps.hadoop1.xのexampleだったwordcountはhadoop-examples.jarに置き換わったんですね。
スポンサーサイト

category: 未分類

TB: 0    CM: 0   

コメント

コメントの投稿

Secret

トラックバック

トラックバックURL
→http://forjunk.blog60.fc2.com/tb.php/266-049e8613
この記事にトラックバックする(FC2ブログユーザー)

プロフィール

物欲リスト

最近の記事

月別アーカイブ

カテゴリー

ブログ内検索

RSSフィード

リンク

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。