You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal error warn アプリケーションサーバとログ収集サーバは同一ネットワーク上にある やりたいこと メールで来ても絶対に気がつかない自信がある。 異常の側から教えてくれる仕組みを目指す。 fatalログが出た場合は、電話による通知を行う 全てのエラーログはchatツールに出力する ログのバックアップ ログの分析・可視化 この記事では1, 2, 3についてまとめる。 構築 fluentdのインストール 公式のドキュメントが一番わかり易い。 Installation | Flue
April 1, 2014 fluentdのbufferとforwardについて調べたのでメモ。 fluentd v0.10.45 追記( 04/02 00:27) @kenjiskywalker flushしようとしてできなかったbufferにもlimitまで溜まるから、1kbのbufferが128個で限界にはならないような気がしますが — fujiwara (@fujiwara) April 1, 2014 @fujiwara 今手元で試したんですけどflush_interval関係なさそうですね。普通にflush_interval 1s buffer_chunk_limit 10とか指定してもそれ以上のbuffer保持してました — kenjiskywalker (@kenjiskywalker) April 1, 2014 @tagomoris @fujiwara なるほど〜! —
The out_file Output plugin writes events to files. By default, it creates files on a daily basis (around 00:10). This means that when you first import records using the plugin, no file is created immediately. The file will be created when the timekey condition has been met. To change the output frequency, please modify the timekey value. Table of Contents Example Configuration Plugin helpers Param
This article desribes how to monitor Fluentd. Table of Contents Fluentd Metrics Monitoring Process Monitoring Port Monitoring Debug Port Fluentd Metrics Monitoring Fluentd can expose internal metrics via REST API, and works with monitoring tools such as Prometheus, Datadog, etc. Our recommendation is to use Prometheus, since we will be collaborating more in the future under the CNCF (Cloud Native
ウィークリーFluentdユースケースエントリリレー #1 の記事です。 ウィークリーFluentdユースケースエントリリレーまとめ @oranie さんが in_tail を解説されてたんで、Output plugin から out_file を解説しようかと思います。さまざまな output に対応する Fluentd ですが、一番シンプルで基本的なこのプラグインの動作を今一度確認してみました。 file plugin out_file はその名の通り、他の出力から受け取ったバッファをファイルに書き出すプラグインです。 公式ドキュメントは こちら 設定例はこんな感じです <match pattern> type file path /var/log/fluent/myapp time_slice_format %Y%m%d time_slice_wait 10m time_format
英語では少し情報はあるんですが,日本語だとTreasure DataのFluentdプラグインのまとまった情報がない気がしたので,とりあえず書いておく.いずれは公式ブログとかドキュメントの日本語化がされた時に整理されて公開される予定です. Treasure Dataに関しては,公式サイトや公式ブログに色々と記事が公開されているので,参照してみてください. http://www.treasuredata.com/jp/ http://treasure-data.hateblo.jp/ Treasure Dataプラグインについて その名の通りTreasure Dataにログを転送するFluentdプラグインです.Treasure DataのデータストアはスキーマレスなのでひたすらJSONなログを突っ込むことが出来,Fluentdと相性が良いです.実際はSchema on Readのアプローチ
導入経緯 「serverのログ見るときに複数のserverにsshで入って見るのとかつらめ」 という理由からリアルタイムで集められたら幸せになれるのではと考え、 fluentdを使ってみようとい結論に至った訳です。 なぜfluentdにしたのか 他にもflume(良く知らない)とかあるのになぜfluentdにしたかと言うと下記の理由から Rubyで実装されているのでカスタマイズとかプラグイン作る場合も作りやすいかな gemとして提供されているのでRubyプロジェクトでは導入しやすいかな プラグインがいっぱいある RubyKaigiでそのっつさんの下記のお話を聞いていたりで使ってみたかったとかそんな感じ Fluentd Hacking Guide at RubyKaigi 2014 リアルタイムログ解析もしてみる Fluentdを使うならElasticserchとKibanaも導入してリアル
AWS Summit Tokyo 2014のTC-09セッションで発表した資料です。 こちらは後半部分です。 タイトル:TC-09「AutoScale×ゲーム ~運用効率化への取り組み~」について === イベント概要 === AWS Summit Tokyo 2014について 開催日:2014年7月17日(木)~18日(金) 9:15 ~ 19:00 会場:グランドプリンスホテル新高輪 (国際館パミール) 主催:アマゾン データ サービス ジャパン株式会社 サイトURL:http://www.awssummittokyo.com/ スケジュール:http://www.awssummittokyo.com/schedule.html セッション紹介:http://www.awssummittokyo.com/session.html#tc9 前半=>http://www.slideshar
昨夜、ドリコムさんで行われた「最新インフラエンジニア技術勉強会 〜Fluentd, Elasticsearch,Chefの実践実例〜」に足を運んできました。 タイトルにもありますように、Chef, モニタリング, Fluentd, そして elasticsearch が使われている現場の情報を伺える機会となりました。 それでは、いつものようにノートをアップしておきます。 概要 2014-05-23 ドリコム 本社 (目黒アルコタワー) 19:30-20:00 ひらしー ドリコムのInfrastructure as Code 20:00-20:30 mickey Winning the metrics battle 20:30-21:00 外山 寛 Fluentd プラグイン開発講座 21:00-21:30 yoshi_ken MySQLと組み合わせて始める全文検索エンジン「elastics
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く