Carpe Diem

備忘録

fluentd

fluentdをローカルで簡単に検証する

概要 ローカルでサクッとfluentdの検証をしたい時に毎回調べ直していたのでメモ。 設定ファイル fluentd.confという名前で設定を用意します。 forwardされたログをstdoutに出力します。 <source> @type forward port 24224 bind 0.0.0.0 </source> <match *.*> @type stdout </match>

Exponential Backoff (指数関数的に増えるリトライ間隔)

概要 fluentdのretryはExponential Backoffと呼ばれるもので、リトライの間隔が 1秒、2秒、4秒、8秒、16秒 と指数関数的に増えていきます。これによって無駄なリクエストを省きつつ、再試行する前に問題を修正して解決できるようになります。 特に外部APIが…

Fluentdを0.14にバージョンアップした時の対応

概要 Fluentdを0.12から0.14へアップデートしました。 その時にtd-agent.confやらpluginで色々と変更点があったのでその時の対応をまとめます。 環境 fluentd 0.14.21 fluent-plugin-s3 1.0.0.rc6 td-agent.confの変更点 root_dirができた 以前はbuffer毎に <match pattern></match>…

FluentdをDatadogで監視

概要 fluentdを使う上でbuffer溢れは気になるポイントです。 monitor_agentを導入すればcurlで確認できますが、瞬間的な値であるためできれば継続した値が得られると便利です。 zabbixやsensuと組み合わせる方法もありますが、今回は一番楽そうなDataDogとい…

fluentdで複数サーバのログをまとめる

概要 複数のサーバのアクセスログをAggregatorにまとめます。こうすることでログの管理が一元化されるので、ログの管理先をS3やElasticsearchに変更したりするときにAggregatorだけの対応で済みます。 環境 Ubuntu 14.04 Nginx 1.4.6 fluentd 0.12.12 構成 I…

fluentdでアクセスログをS3へ送信

概要 fluentdを用いてアクセスログをS3に保存する方法です。 今回はApacheのログをS3に送信します。 環境 Ubuntu 14.04 fluentd 0.12.12 Apache 2.4.7 事前準備 バケットの用意 fluentd-log01という名前で作成します。 注意としてS3のバケット名は他の利用者…