Heaven's Kitchen

Hadoopのディストリビューションではメジャーだと思うCloudera managerでSparkもインストール出来るという事で。
vmをローカルで用意するのが面倒なので、google compute engineでmaster×1 worker×3のクラスタを作って試してみました。

監視ツールとしては結構高機能なイメージです。
gcpでもちゃんと動いているのはエライ！


worker3台構成です。
マシンスペックはgcpの無料アカウントなのでショボショボです。


CDH5を適用済みで、sparkは・・・というとバージョンが0.9.0？！


ん？と思ってClouderaのHPで確認してみると、latestにあるっていうから確認してみたら…。


本当に0.9.0がlatestだった（絶望
Expressだからなのか！？

hadoopディストリビューターってのは理解できるがちょっと古すぎやしませんか。

category: コンピュータ

SolrはDIが用意されていてelastic Searchに比べてクロールの敷居が低いと思っています。
クロール先がDatabase（OracleやMySQL）ならDI使ってクロールする、でいいと思います。

手軽にSolrを使う場合、CSVやTSVを登録して集計に使ったりとできます。
＃データが多いならHadoopの方がいいかもだけど。。。

■TSVをcurlで直接登録します

curl 'http://localhost:8983/solr/tsv_load/update?commit=true&separator=%09&encapsulator=%09&stream.contentType=text/csv;charset=utf-8&stream.file=/var/solr/inp/a.tsv'

http://localhost:8983/solr/tsv_load/updateのtsv_loadはコア名
commit=trueを付けないとあとでコミットしないとダメなので。
stream.contentType=text/csvこれでcsv,tsvを読み込みます
separator=%09でタブ区切りに。
ファイルは、stream.file=/var/solr/inp/a.tsvで
エンコードは、charset=utf-8

category: コンピュータ

ubuntu 15.04をインストールして使ってましたが、compizがイマイチ良くなく・・・。
termを起動した時に勝手にサイズが最小に小さくなってしまうという気持ち悪い状態になり、
cubeとか使ってるとダメというのは分かったんだけど解決方法がわからないので14.04にバージョンを落とした。

しかし14.04でマウスを左端にくっつけてもスクロールしない。右はちゃんとするのに。。。
そもそも14.04はチェックボックスとかが選択できない状態になっており、なんかおかしい。
ので14.10の環境を構築することに。

思い立ってすぐに環境を構築できるのはvirtualBoxの良い所。

結果から。

14.10ではcompizで問題なくcubeが動作出来ました。

自分用に手順を。。。

１．Ubuntuソフトウェアセンターを開き、compizComfig設定マネージャーをインストール
２．Ubuntuソフトウェアセンターから、Synapticパッケージマネージャーをインストール
３．termを開いて sudo synaptic を実行
４．Synapticパッケージマネージャでcompiz-plugins-extraを検索し、インストール
５．compizComfig設定マネージャーでcubeを有効にして、一般オブションからディスクトップサイズの水平仮想サイズを４に
６．ubuntuを再起動

category: コンピュータ

Solr5をインストーラーでインストルした場合の環境メモ

■ログフォルダ

/var/solr/logs

■log4j

/var/solr/log4j.properties

■coreの配置位置

/var/solr/data

新しいcoreを配置する場合、

/var/solr/data

の下にcoreのフォルダを作成contフォルダを作成し、ファイルを配置。

とりあえずnew_coreフォルダをdataフォルダの下に作成して、その下にcontフォルダを作成。
example-DIHのconfから以下のファイルをコピーしてchown solr:solrして起動確認。
＃langはフォルダです

currency.xml
elevate.xml
lang/
mapping-FoldToASCII.txt
mapping-ISOLatin1Accent.txt
protwords.txt
schema.xml
solr-data-config.xml
solrconfig.xml
stopwords.txt
synonyms.txt

あとはこのcoreをベースに作っていけばOKかなっと。

category: コンピュータ

Solrが使いたくなったので、新しく構築したUbuntu14.04にインストールします。

ダウンロード

wget http://ftp.kddilabs.jp/infosystems/apache/lucene/solr/5.2.1/solr-5.2.1.tgz

解凍

tar xzvf solr-5.2.1.tgz

インストール

sudo bin/install_solr_service.sh ~/ダウンロード/solr-5.2.1.tgz

インストーラーでサービス起動までやってくれちゃって便利すぎ

junk@junk-VirtualBox:~/ダウンロード/solr-5.2.1$ sudo service solr status

Found 1 Solr nodes:

Solr process 3192 running on port 8983
{
"solr_home":"/var/solr/data/",
"version":"5.2.1 1684708 - shalin - 2015-06-10 23:20:13",
"startTime":"2015-06-20T12:28:24.384Z",
"uptime":"0 days, 0 hours, 3 minutes, 52 seconds",
"memory":"59.1 MB (%12.1) of 490.7 MB"}

あとは、ブラウザでアクセスしてみたらOKだったので、ぶっちゃけインストールは3分くらいで終わる。
わーお。

http://localhost:8983/solr/

うちのブログにubuntuとかsolrとかelasticとかのキーワードで来る人は皆無だ・・・。
＃みんな、GPZなんだ！

category: コンピュータ