Cloudera Manager でApache Sparkが使ってみたい
2015/07/18 Sat. 23:47 [edit]
vmをローカルで用意するのが面倒なので、google compute engineでmaster×1 worker×3のクラスタを作って試してみました。
監視ツールとしては結構高機能なイメージです。
gcpでもちゃんと動いているのはエライ!

worker3台構成です。
マシンスペックはgcpの無料アカウントなのでショボショボです。

CDH5を適用済みで、sparkは・・・というとバージョンが0.9.0?!

ん?と思ってClouderaのHPで確認してみると、latestにあるっていうから確認してみたら…。

本当に0.9.0がlatestだった(絶望
Expressだからなのか!?
hadoopディストリビューターってのは理解できるがちょっと古すぎやしませんか。
category: コンピュータ
solr tsvファイルをcurlでputする
2015/06/21 Sun. 23:59 [edit]
クロール先がDatabase(OracleやMySQL)ならDI使ってクロールする、でいいと思います。
手軽にSolrを使う場合、CSVやTSVを登録して集計に使ったりとできます。
#データが多いならHadoopの方がいいかもだけど。。。
■TSVをcurlで直接登録します
curl 'http://localhost:8983/solr/tsv_load/update?commit=true&separator=%09&encapsulator=%09&stream.contentType=text/csv;charset=utf-8&stream.file=/var/solr/inp/a.tsv'
http://localhost:8983/solr/tsv_load/updateのtsv_loadはコア名
commit=trueを付けないとあとでコミットしないとダメなので。
stream.contentType=text/csvこれでcsv,tsvを読み込みます
separator=%09でタブ区切りに。
ファイルは、stream.file=/var/solr/inp/a.tsvで
エンコードは、charset=utf-8
category: コンピュータ
ubuntu 14.04 → 14.10
2015/06/21 Sun. 23:15 [edit]
termを起動した時に勝手にサイズが最小に小さくなってしまうという気持ち悪い状態になり、
cubeとか使ってるとダメというのは分かったんだけど解決方法がわからないので14.04にバージョンを落とした。
しかし14.04でマウスを左端にくっつけてもスクロールしない。右はちゃんとするのに。。。
そもそも14.04はチェックボックスとかが選択できない状態になっており、なんかおかしい。
ので14.10の環境を構築することに。
思い立ってすぐに環境を構築できるのはvirtualBoxの良い所。
結果から。
14.10ではcompizで問題なくcubeが動作出来ました。
自分用に手順を。。。
1.Ubuntuソフトウェアセンターを開き、compizComfig設定マネージャーをインストール
2.Ubuntuソフトウェアセンターから、Synapticパッケージマネージャーをインストール
3.termを開いて sudo synaptic を実行
4.Synapticパッケージマネージャでcompiz-plugins-extraを検索し、インストール
5.compizComfig設定マネージャーでcubeを有効にして、一般オブションからディスクトップサイズの水平仮想サイズを4に
6.ubuntuを再起動
category: コンピュータ
solr5.2.1 ubuntu14.04 環境編
2015/06/20 Sat. 22:39 [edit]
■ログフォルダ
/var/solr/logs
■log4j
/var/solr/log4j.properties
■coreの配置位置
/var/solr/data
新しいcoreを配置する場合、
/var/solr/data
の下にcoreのフォルダを作成contフォルダを作成し、ファイルを配置。
とりあえずnew_coreフォルダをdataフォルダの下に作成して、その下にcontフォルダを作成。
example-DIHのconfから以下のファイルをコピーしてchown solr:solrして起動確認。
#langはフォルダです
currency.xml
elevate.xml
lang/
mapping-FoldToASCII.txt
mapping-ISOLatin1Accent.txt
protwords.txt
schema.xml
solr-data-config.xml
solrconfig.xml
stopwords.txt
synonyms.txt
あとはこのcoreをベースに作っていけばOKかなっと。
category: コンピュータ
Solr5.2.1 ubuntu14.04 install インストール編
2015/06/20 Sat. 21:44 [edit]
ダウンロード
wget http://ftp.kddilabs.jp/infosystems/apache/lucene/solr/5.2.1/solr-5.2.1.tgz
解凍
tar xzvf solr-5.2.1.tgz
インストール
sudo bin/install_solr_service.sh ~/ダウンロード/solr-5.2.1.tgz
インストーラーでサービス起動までやってくれちゃって便利すぎ
junk@junk-VirtualBox:~/ダウンロード/solr-5.2.1$ sudo service solr status
Found 1 Solr nodes:
Solr process 3192 running on port 8983
{
"solr_home":"/var/solr/data/",
"version":"5.2.1 1684708 - shalin - 2015-06-10 23:20:13",
"startTime":"2015-06-20T12:28:24.384Z",
"uptime":"0 days, 0 hours, 3 minutes, 52 seconds",
"memory":"59.1 MB (%12.1) of 490.7 MB"}
あとは、ブラウザでアクセスしてみたらOKだったので、ぶっちゃけインストールは3分くらいで終わる。
わーお。
http://localhost:8983/solr/
うちのブログにubuntuとかsolrとかelasticとかのキーワードで来る人は皆無だ・・・。
#みんな、GPZなんだ!
category: コンピュータ