読者です 読者をやめる 読者になる 読者になる

Raspberry Pi 3にElasticsearchとKibanaをいれてみた

背景

Raspberry PiでたてたサーバのログをFluentdとElasticSearch,Kibanaで監視,可視化したい.
Fluentdは前回いれたので,今回はElasticSearchとKibanaをいれる.
そこで軽くつまったのでメモ

ElasticSearchのインストール

The Elastic Stack Download · Get Started in Minutes | Elastic
Elasticのホームページから適当にダウンロードしてくる.
今回は2.4.1をダウンロードして,インストールする.(5.0.0が最新だが,Kibanaとの連携がうまくいかなかった.2016/11/02現在)
※elasticsearchにはJavaが必要なのでインストールしておいてください.

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-2.4.1.zip
$ unzip elasticsearch-2.4.1.zip
$ rm elasticsearch-2.4.1.zip
$ mv elasticsearch-2.4.1 elasticsearch
$ cd elasticsearch
$ ./bin/elasticsearch

これで起動する.

Kibanaのインストール

先程と同様にホームページから適当にダウンロードして,実行する.
今回は4.6.2を使用する.(5.0.0が最新だが,./bin/../node/bin/node: bad option: --no-warningsのようなエラーが出て,調べてもよくわからなかったため,とりあえずバージョンは本質じゃないということで,安心安全のバージョン4.6.2に戻した.)

$ wget https://artifacts.elastic.co/downloads/kibana/kibana-4.6.2-linux-x86_64.tar.gz
$ tar xvfz kibana-4.6.2-linux-x86_64.tar.gz
$ rm kibana-4.6.2-linux-x86_64.tar.gz
$ mv kibana-4.6.2-linux-x86_64 kibana
$ cd kibana
$ ./bin/kibana

が,Kibanaを実行すると,以下のエラーが出た.

./bin/../node/bin/node: 1: ./bin/../node/bin/node: ELF: not found
./bin/../node/bin/node: 17: ./bin/../node/bin/node: Syntax error: ")" unexpected

調べるとRaspberry PiではARMアーキテクチャを使用しているため,nodejsバイナリを変更する必要があるようだ.

$ wget http://node-arm.herokuapp.com/node_latest_armhf.deb
$ sudo dpkg -i node_latest_armhf.deb
$ rm node_latest_armhf.deb
$ cd kibana/node/bin
$ mv node node.orig
$ mv npm npm.orig
$ ln -s `which node` node
$ ln -s `which npm` npm
$ cd ../../
$ ./bin/kibana

無事に動いた.
localhost:5601にアクセスするとKibanaのダッシュボードが表示される.

おまけ

最初,実はElasticSearchは最新だった5.0.0を使用していた.
するとRaspberry Piではメモリが限られているため,以下のようなエラーが出た.

Error occurred during initialization of VM
Could not reserve enough space for 2097152KB object heap

つまりメモリが足りていない.
設定ファイルをいじって対応する.
調べるとES_MAX_MEMやら,-XX:MaxHeapSizeやらいろいろあったが,正解はこれ.

$ vim config/jvm.options
- -Xms2g    #2Gの設定になっている
- -Xmx2g
+-Xms256m    #とりあえず256Mにしてみた
+-Xmx256m

これでメモリの問題は解決.
Kibanaとのバージョンが合わなくて,ElasticSearchのバージョンを落としたため使わなかったが,メモとして残す.

Raspberry PiにFluentdをインストール

はじめに

Raspberry PiにFluentdをインストールして,Pythonアプリケーションのログを監視しようと思った.
が,インストールで軽く詰まったのでメモ

つまったこと

よくあるインストール方法で簡単にインストール&動作確認してみた.
[参考] fluentdインストール(丁寧な説明つき) - Qiita

gem install fluentd --no-ri --no-rdoc
fluentd --setup ./fluent
fluentd -c ./fluent/fluent.conf -vv &
echo '{"json":"message"}' | fluent-cat debug.test

が,実行したと同時にエラーログが大量に流れ出した.

[error]: fluent/supervisor.rb:640:rescue in main_process: unexpected error error="undefined method `compress' for nil:NilClass"
[error]: command/fluentd.rb:288:<top (required)>: /home/user/.rbenv/versions/2.3.0/lib/ruby/gems/2.3.0/gems/fluentd-0.14.8/lib/fluent/plugin/out_forward.rb:145:in `configure'
...

rbenvのせいかなと思ったけど,そうでもなさそうだった.

解決法

簡単な話で,自動で生成されるfluent.confの設定がよくなかったみたい.

<source>
  type forward
  port 24224
  bind 0.0.0.0
</source>
<match **>
  type stdout
</match>

みたいに簡単なものにすると無事動いた.

サーバ起動時に自動でpyenv環境下のuWSGIアプリケーションを実行しようとしたらはまった

前置き

Raspberry Piでサーバを構築している.
せっかくなので起動したら自動的に作成したPythonアプリケーションを実行できるようにしたい.
作成したPythonアプリケーションはpyenvで管理していて,uWSGIサーバを使って動いている.

した

/etc/rc.localのファイルにシェルスクリプトを書くと実行できる.
ここにこんな風に書くと希望のアプリケーションを実行できる.

# run app from shell script
sh run_app.sh

run_app.sh

# nohup uwsgi --ini hoge_app.ini & <-怒られたやつ
nohup /home/hoge/.pyenv/shims/uwsgi --ini hoge_app.ini &

はまったこと

上記のように書くと,実行できるが,run_app.shはrootユーザで実行される.
がuWSGIはhogeユーザのpyenvで管理していたので,rootユーザからは動かすことができなかった.
そのため,そのまま動かすとuWSGIがないと怒られた.
nohup: コマンド `uwsgi' の実行に失敗しました: そのようなファイルやディレクトリはありません

解決策

たぶんよくない方法だと思うのだが,直接hogeユーザの.pyenv内のuwsgiを指定して実行することで,無事動いた.