fluentd
概要 ローカルでサクッとfluentdの検証をしたい時に毎回調べ直していたのでメモ。 設定ファイル fluentd.confという名前で設定を用意します。 forwardされたログをstdoutに出力します。 <source> @type forward port 24224 bind 0.0.0.0 </source> <match *.*> @type stdout </match>
概要 fluentdのretryはExponential Backoffと呼ばれるもので、リトライの間隔が 1秒、2秒、4秒、8秒、16秒 と指数関数的に増えていきます。これによって無駄なリクエストを省きつつ、再試行する前に問題を修正して解決できるようになります。 特に外部APIが…
概要 Fluentdを0.12から0.14へアップデートしました。 その時にtd-agent.confやらpluginで色々と変更点があったのでその時の対応をまとめます。 環境 fluentd 0.14.21 fluent-plugin-s3 1.0.0.rc6 td-agent.confの変更点 root_dirができた 以前はbuffer毎に <match pattern></match>…
概要 fluentdを使う上でbuffer溢れは気になるポイントです。 monitor_agentを導入すればcurlで確認できますが、瞬間的な値であるためできれば継続した値が得られると便利です。 zabbixやsensuと組み合わせる方法もありますが、今回は一番楽そうなDataDogとい…
概要 複数のサーバのアクセスログをAggregatorにまとめます。こうすることでログの管理が一元化されるので、ログの管理先をS3やElasticsearchに変更したりするときにAggregatorだけの対応で済みます。 環境 Ubuntu 14.04 Nginx 1.4.6 fluentd 0.12.12 構成 I…
概要 fluentdを用いてアクセスログをS3に保存する方法です。 今回はApacheのログをS3に送信します。 環境 Ubuntu 14.04 fluentd 0.12.12 Apache 2.4.7 事前準備 バケットの用意 fluentd-log01という名前で作成します。 注意としてS3のバケット名は他の利用者…