FC2ブログ

Cloudera Manager でApache Sparkが使ってみたい 

Hadoopのディストリビューションではメジャーだと思うCloudera managerでSparkもインストール出来るという事で。
vmをローカルで用意するのが面倒なので、google compute engineでmaster×1 worker×3のクラスタを作って試してみました。

監視ツールとしては結構高機能なイメージです。
gcpでもちゃんと動いているのはエライ!
ss1.jpg

worker3台構成です。
マシンスペックはgcpの無料アカウントなのでショボショボです。
ss2.jpg

CDH5を適用済みで、sparkは・・・というとバージョンが0.9.0?!
ss3.jpg

ん?と思ってClouderaのHPで確認してみると、latestにあるっていうから確認してみたら…。
ss4.jpg

本当に0.9.0がlatestだった(絶望
Expressだからなのか!?

hadoopディストリビューターってのは理解できるがちょっと古すぎやしませんか。
スポンサーサイト



category: コンピュータ

TB: 0    CM: 0   

コメント

コメントの投稿

Secret

トラックバック

トラックバックURL
→http://forjunk.blog60.fc2.com/tb.php/267-af8e0264
この記事にトラックバックする(FC2ブログユーザー)

プロフィール

物欲リスト

最近の記事

月別アーカイブ

カテゴリー

ブログ内検索

RSSフィード

リンク