NginxのアクセスログをKibanaで可視化

概要

Nginxのアクセスログを用いて可視化の流れをまとめます。
mappingは手動で設定します。

環境

• Ubuntu 14.04
• fluentd 0.12.19
• fluent-plugin-elasticsearch 1.3.0
• Nginx 1.4.6
• Elasticsearch 2.1.1
• Kibana 4.3.1

構成

IP	名前	役割
192.168.33.100	web	Webサーバ。ログは転送
192.168.33.101	kibana	Kibana。転送されたログをKibanaへ

Kibanaの運用で注意すること

概要

Kibanaをログ可視化＆検索として扱う上でいくつかの問題が生じたので、その時の対処方法をまとめます。
ログ可視化という用途であればレスポンス速度などの優先度は下げられるため、以下の対応が可能になります。

環境

• Ubuntu 14.04
• Elasticsearch 2.1.1
• Kibana 4.3.1

問題１：OutOfMemoryErrorが出る

field data cacheのサイズを絞る

SortやAggregation(集計)を高速に行うために、各fieldのデータをメモリに載せていますがデフォルトだと無制限に載るため調整します。

/etc/elasticsearch/elasticsearch.yml

indices.fielddata.cache.size: 75%

※ 下記のdoc_valuesを使うのであれば設定は不要です

---