FC2ブログ

ubuntu14.10 Hadoop(CDH5) install 

HadoopをApacheでは無くClouderaの方で入れてみました。

手順は以下のサイトを参考に。
ほどんどそのままでexample実行まで出来ました。
http://azwoo.hatenablog.com/entry/2015/06/03/152624

一部コマンドでsudoが必要だったり、mapになってるのでsudoが不要だったりしますが、とりあえず問題はありません。

インストールしたパッケージのバージョンを確認したところ、

map@junk-VirtualBox:~$ hadoop version
Hadoop 2.6.0-cdh5.4.2
Subversion http://github.com/cloudera/hadoop -r 15b703c8725733b7b2813d2325659eb7d57e7a3f
Compiled by jenkins on 2015-05-19T23:59Z
Compiled with protoc 2.5.0
From source with checksum de74f1adb3744f8ee85d9a5b98f90d
This command was run using /usr/lib/hadoop/hadoop-common-2.6.0-cdh5.4.2.jar
map@junk-VirtualBox:~$


結構ちゃんと最新が入りますね。
インストール等はとても楽ですが、全部入りっていうくらい色々入っててサイズはデカイかもしれません。

Clouderaの良い所は、64bitOSでビルドしなくても最新のパッケージが使えるところですね!
mvnとか自分でやるのであればapacheから落としてきても問題ないですが。

ps.hadoop1.xのexampleだったwordcountはhadoop-examples.jarに置き換わったんですね。
スポンサーサイト



category: 未分類

TB: 0    CM: 0   

solr tsvファイルをcurlでputする 

SolrはDIが用意されていてelastic Searchに比べてクロールの敷居が低いと思っています。
クロール先がDatabase(OracleやMySQL)ならDI使ってクロールする、でいいと思います。

手軽にSolrを使う場合、CSVやTSVを登録して集計に使ったりとできます。
#データが多いならHadoopの方がいいかもだけど。。。

■TSVをcurlで直接登録します

curl 'http://localhost:8983/solr/tsv_load/update?commit=true&separator=%09&encapsulator=%09&stream.contentType=text/csv;charset=utf-8&stream.file=/var/solr/inp/a.tsv'



http://localhost:8983/solr/tsv_load/updateのtsv_loadはコア名
commit=trueを付けないとあとでコミットしないとダメなので。
stream.contentType=text/csvこれでcsv,tsvを読み込みます
separator=%09でタブ区切りに。
ファイルは、stream.file=/var/solr/inp/a.tsv
エンコードは、charset=utf-8

category: コンピュータ

TB: 0    CM: 0   

ubuntu 14.04 → 14.10 

ubuntu 15.04をインストールして使ってましたが、compizがイマイチ良くなく・・・。
termを起動した時に勝手にサイズが最小に小さくなってしまうという気持ち悪い状態になり、
cubeとか使ってるとダメというのは分かったんだけど解決方法がわからないので14.04にバージョンを落とした。

しかし14.04でマウスを左端にくっつけてもスクロールしない。右はちゃんとするのに。。。
そもそも14.04はチェックボックスとかが選択できない状態になっており、なんかおかしい。
ので14.10の環境を構築することに。

思い立ってすぐに環境を構築できるのはvirtualBoxの良い所。

結果から。

14.10ではcompizで問題なくcubeが動作出来ました。

自分用に手順を。。。

1.Ubuntuソフトウェアセンターを開き、compizComfig設定マネージャーをインストール
2.Ubuntuソフトウェアセンターから、Synapticパッケージマネージャーをインストール
3.termを開いて sudo synaptic を実行
4.Synapticパッケージマネージャでcompiz-plugins-extraを検索し、インストール
5.compizComfig設定マネージャーでcubeを有効にして、一般オブションからディスクトップサイズの水平仮想サイズを4に
6.ubuntuを再起動



category: コンピュータ

TB: 0    CM: 0   

solr5.2.1 ubuntu14.04 環境編 

Solr5をインストーラーでインストルした場合の環境メモ

■ログフォルダ

/var/solr/logs



■log4j

/var/solr/log4j.properties



■coreの配置位置

/var/solr/data




新しいcoreを配置する場合、

/var/solr/data


の下にcoreのフォルダを作成contフォルダを作成し、ファイルを配置。

とりあえずnew_coreフォルダをdataフォルダの下に作成して、その下にcontフォルダを作成。
example-DIHのconfから以下のファイルをコピーしてchown solr:solrして起動確認。
#langはフォルダです

currency.xml
elevate.xml
lang/
mapping-FoldToASCII.txt
mapping-ISOLatin1Accent.txt
protwords.txt
schema.xml
solr-data-config.xml
solrconfig.xml
stopwords.txt
synonyms.txt



あとはこのcoreをベースに作っていけばOKかなっと。

category: コンピュータ

TB: 0    CM: 0   

Solr5.2.1 ubuntu14.04 install インストール編 

Solrが使いたくなったので、新しく構築したUbuntu14.04にインストールします。

ダウンロード

wget http://ftp.kddilabs.jp/infosystems/apache/lucene/solr/5.2.1/solr-5.2.1.tgz



解凍

tar xzvf solr-5.2.1.tgz



インストール

sudo bin/install_solr_service.sh ~/ダウンロード/solr-5.2.1.tgz



インストーラーでサービス起動までやってくれちゃって便利すぎ

junk@junk-VirtualBox:~/ダウンロード/solr-5.2.1$ sudo service solr status

Found 1 Solr nodes:

Solr process 3192 running on port 8983
{
"solr_home":"/var/solr/data/",
"version":"5.2.1 1684708 - shalin - 2015-06-10 23:20:13",
"startTime":"2015-06-20T12:28:24.384Z",
"uptime":"0 days, 0 hours, 3 minutes, 52 seconds",
"memory":"59.1 MB (%12.1) of 490.7 MB"}



あとは、ブラウザでアクセスしてみたらOKだったので、ぶっちゃけインストールは3分くらいで終わる。
わーお。

http://localhost:8983/solr/



うちのブログにubuntuとかsolrとかelasticとかのキーワードで来る人は皆無だ・・・。
#みんな、GPZなんだ!

category: コンピュータ

TB: 0    CM: 0   

elasticah 1.6 uninstall 

ubuntu14.04にインストールしたelasticsearch1.6ですが、サービスの再起動を行うとpidファイルの登録でエラーが出ます。
https://github.com/elastic/elasticsearch/issues/11594

debian系の処理でイマイチな部分があるっぽい。

sudo mkdir /var/run/elasticsearch/


としてから

sudo service elasticsearch start


とすればとりあえずサービスの起動はできるけど、イマイチなのでバージョン戻しをしたい。

インストール時に

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.6.0.deb
sudo dpkg -i elasticsearch-1.6.0.deb


としたので、
uninstall では

sudo dpkg -r elasticsearch


とします。
サービスも止めてくれるけど、/etc/init.d/elasticsearchは消されないっぽので

sudo rm /etc/init.d/elasticsearch


もしておく。
以下も消えてないので消す

sudo rm -r /var/lib/elasticsearch




あとは、古いのをインストール

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.5.2.deb
sudo dpkg -i elasticsearch-1.5.2.deb



途中で以下の質問が、

Configuration file '/etc/init.d/elasticsearch'
==> Deleted (by you or by a script) since installation.
==> パッケージ配布元が更新版を提供しています。
どうしますか? 以下の選択肢があります:
Y か I : パッケージメンテナのバージョンをインストールする
N か O : 現在インストールされている自分のバージョンを残す
D : 両バージョンの差異を表示する
Z : 状況を調査するためにシェルを開始する
デフォルトでは現在使っている自分のバージョンを残します。


'N'と答えると、/etc/init.dの下にelasticsearch.dpkg-distが作成されます。
以下のコマンドでコピーして

sudo cp elasticsearch.dpkg-dist elasticsearch



とりあえずサービス起動

sudo service elasticsearch start



ps.
これするとpluginも消えちゃうので設定とか必要なものは事前にバックアップしとくといいかもしれません。

category: コンピュータ

TB: 0    CM: 0   

ubuntu 15.04 install 

VirtualBox に ubuntu 15.04をインストール。
特に問題なく終了。
しかし、「ゲストOSの画面を自動リサイズ」が選択できず。
調べたらこれっぽい。
http://ameblo.jp/pochifx/entry-11755833326.html
これしたら問題なく選択可能になった。

ubuntu15.png

category: コンピュータ

TB: 0    CM: 0   

プロフィール

物欲リスト

最近の記事

月別アーカイブ

カテゴリー

ブログ内検索

RSSフィード

リンク