Carpe Diem

備忘録。https://github.com/jun06t

fluentd

Fluentdを0.14にバージョンアップした時の対応

概要 Fluentdを0.12から0.14へアップデートしました。 その時にtd-agent.confやらpluginで色々と変更点があったのでその時の対応をまとめます。 環境 fluentd 0.14.21 fluent-plugin-s3 1.0.0.rc6 td-agent.confの変更点 root_dirができた 以前はbuffer毎に <match pattern></match>…

FluentdをDatadogで監視

概要 fluentdを使う上でbuffer溢れは気になるポイントです。 monitor_agentを導入すればcurlで確認できますが、瞬間的な値であるためできれば継続した値が得られると便利です。 zabbixやsensuと組み合わせる方法もありますが、今回は一番楽そうなDataDogとい…

fluentdで複数サーバのログをまとめる

概要 複数のサーバのアクセスログをAggregatorにまとめます。こうすることでログの管理が一元化されるので、ログの管理先をS3やElasticsearchに変更したりするときにAggregatorだけの対応で済みます。 環境 Ubuntu 14.04 Nginx 1.4.6 fluentd 0.12.12 構成 I…

fluentdでアクセスログをS3へ送信

概要 fluentdを用いてアクセスログをS3に保存する方法です。 今回はApacheのログをS3に送信します。 環境 Ubuntu 14.04 fluentd 0.12.12 Apache 2.4.7 事前準備 バケットの用意 fluentd-log01という名前で作成します。 注意としてS3のバケット名は他の利用者…