[B! fluentd] kiririmodeのブックマーク

record_transformer | 1.0 | Fluentd

The filter_record_transf ormer filter plugin mutates/transf orms incoming event streams in a versatile manner. If there is a need to add/delete/modify events, this plugin is the first filter to try. It is included in the Fluentd's core.

kiririmode 2021/01/27

firelensでfluentdを使うときにtask等の情報をログに付与してくれる仕掛けに使われている

リンク

Under the hood: FireLens for Amazon ECS Tasks | Amazon Web Services

Containers Under the hood: FireLens for Amazon ECS Tasks September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. Recently, Amazon ECS announced support for custom log routing via FireLens. FireLens makes it easy to use the popular open source logging projects Fluentd and Fluent Bit; enabling you to send logs to a wide array of AWS Services and pa

kiririmode 2021/01/27

firelensでどのようにfluentd/bitのConfigが生成され動作するか、およびログ出力ペースに関する性能テスト結果

リンク

amazon-ecs-firelens-under-the-hood/generated-configs at mainline · aws-samples/amazon-ecs-firelens-under-the-hood

kiririmode 2021/01/27

firelensで自動生成されるfluentd/fluentbitのConfigサンプル

リンク

Fluentular: a Fluentd regular expression editor

Regular Expression Test String Custom Time Format (See also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z

kiririmode 2021/01/25

fluentdの正規表現テスト

fluentd

リンク

Centralized Container Logging with Fluent Bit | Amazon Web Services

AWS Open Source Blog Centralized Container Logging with Fluent Bit September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. Visit the website to learn more. by Wesley Pettit and Michael Hausenblas AWS is built for builders. Builders are always looking for ways to optimize, and this applies to application logging. Not all logs are of equal importance. Some requ

kiririmode 2019/09/18

リンク

Kubernetes - Fluent Bit: Official Manual

Before getting started it is important to understand how Fluent Bit will be deployed. Kubernetes manages a cluster of nodes, so our log agent tool will need to run on every node to collect logs from every POD, hence Fluent Bit is deployed as a DaemonSet (a POD that runs on every node of the cluster).

kiririmode 2019/09/17

k8s
fluentd

リンク

Fluent Bitでログ転送

ログを1箇所にまとめたいというニーズは、根強くあります。クラウドだと数分でサーバが立ち上がって来るから、負荷に応じてサーバの数を変えよう！そうすればコスパもよくなる！なんて話はよくあるし、実際、無駄がなくなるのでコストパフォーマンスもよくなります。が。それだけだと、ログの問題が残ってしまいます。トラブルの原因調査のため、ログを調査することはよくあることです。しかし、負荷が下がってサーバを止めたら、ログはどうなります？サーバ停止時にどこかに退避するという処理が、最低でも必要ですね。また、ログは各サーバ毎に作られます。ということは、調査の際、1つずつサーバのログを見て回ることが必要になります。手間がかかりますね。どこかにまとまっていれば楽なのに…。調査の他にも、ログをほぼリアルタイムで調べたいというニーズがあります。こういったことを実現するため、Fluentdやlogstas

kiririmode 2019/09/17

k8s
fluentd

リンク

Centralized logging under Kubernetes

kiririmode 2019/09/17

リンク

Dockerコンテナのロギング機能を使ってみる | さくらのナレッジ

Dockerではコンテナ内で実行されたプロセスの出力をログとして記録しておく機能が用意されている。このログ出力機構では、さまざまなログ記録システムにログを転送することが可能であり、複数の異なるホストで稼動しているコンテナのログを1つのマシンに集約する、といったこともできる。今回はこのログ機能について紹介する。 DockerのLogging Driver機構 Dockerコンテナでは、コンテナ作成後にコンテナ内のファイルシステムに書き込まれたデータはコンテナの削除時に一緒に破棄されてしまう。そのため、各種ログやエラーメッセージ出力などの保存しておきたい情報はコンテナ外に出力して保存しておく必要がある。Dockerではこれを支援する機能の1つとして、ログを外部のログ記録ソフトウェアに転送する機構が用意されている。これを利用することで、多数のコンテナが稼動するような環境や、複数のマシンを組み合わ

kiririmode 2018/08/08

リンク

fluentdで本番環境を再現する - Qiita

toyama0919/fluent-plugin-http_shadowというShadow Proxyっぽいことを簡単にやるプラグインを作りました。 production環境で半年くらい動かしてたのでメモしときます。﹁Fluentd Meetup 2015 夏﹂で実際のユースケースを発表しました。 Shadow Proxyサーバとは Shadow Proxyサーバについては以下がわかりやすいです。気軽なMySQLバージョンアップ - まめ畑 Go言語を含む複数種類の言語により実装されたソフトウェアのベンチマーク - Qiita実装としては以下のようなものが公開されています。 cookpad/kage lestrrat/p5-Geest kentaro/delta 本番のリクエストをそのままバックエンドにあるサーバーに複製して送信するのですが、アプリケーションの規模が大きくなればなるほ

kiririmode 2017/12/31

Fluentdを利用したshadowproxy

リンク

＠ITイベントカレンダー

平素よりイベントカレンダー＋ログをご利用いただき、誠にありがとうございます。イベントカレンダー＋ログは「IT・製造業・ビジネス関係のイベント（セミナー・展示会・勉強会・コンテスト・Webイベントなど）を開催する企業・コミュニティが登録したイベント情報のポータルサイト」として約7年間運営をしてきました。これまでサービスを続けることができたのは、イベントカレンダー＋ログのコンセプトに共感をいただき、適切なイベント情報をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。しかしながら、イベント情報の入手方法の多様化やイベント紹介サービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年6月30日（火）15:00をもちましてイベントカレンダー＋ログのサービスを終了することにしました。これまでご利用をいただきました皆さまには残念なお知ら

kiririmode 2013/06/17

fluentd

リンク

fluentdを使ったログ監視〜 Haikanko OSS化への道(3) : sonots:blog

kiririmode 2013/06/07

fluentd

リンク

fluent-agent-lite と fluentd agent の比較(1) 〜 Haikanko OSS化への道(2) : sonots:blog

kiririmode 2013/06/07

fluentd

リンク

fluent-plugin-sampling-filter and fluent-plugin-datacounter released! #fluentd - たごもりすメモ

Fluentd において特定パターンのデータをもっているメッセージ数をカウントする、およびメッセージ数に対してパターンごとの割合を算出する fluent-plugin-datacounter をリリースしました。また fluent-plugin-datacounter のようにメッセージの傾向を算出するためのプラグインに入れるデータを作るため、全メッセージからサンプリングを行う fluent-plugin-sampling-filterもリリースしました。 fluent-plugin-datacounter | RubyGems.org | your communitygem host fluent-plugin-sampling-filter | RubyGems.org | your communitygem host fluent-plugin-sampling-filter

kiririmode 2013/06/07

fluentd

リンク

fluent-plugin-numeric-monitor v0.1.0 and fluent-plugin-numeric-counter v0.1.0 released! - たごもりすメモ

Fluentdメッセージ中の数値の統計・集計をとるためのプラグインをふたつリリースしたのでその話。numeric-monitorは前に 0.0.x 系のバージョンでいちおう出してたけど、自分の手元でもちゃんと使い始めたので v0.1.0 として改めてリリースした。 fluent-plugin-numeric-counter fluent-plugin-numeric-counter | RubyGems.org | your communitygem host tagomoris/fluent-plugin-numeric-counter · GitHub このプラグインは数値の上下範囲にマッチするメッセージをカウントする。数値版の datacounter みたいなものだと思えばよい。出力も datacounter の出力内容とまったく同じ。 Fluentd Casualのときの @fu

kiririmode 2013/06/07

fluentd

リンク

HaikankoというFluentdクラスタ管理ツールの話をしてきた(1) #fluentdcasual : sonots:blog

kiririmode 2013/06/06

fluentd

リンク

fluent-agent-lite と td-agent で、小さくはじめる fluentd - Studio3104::BLOG.new

fluentdを使ってみたいけど、﹁JSONでシリアライズしなくていいのに・・・生でいいのに・・・﹂と思ってなかなか使い出せないというケースはままあるのではないでしょうか。こんなときに困ってしまうからですよね。 rsyncやscpで毎日深夜にやってくる生ログを解析するスパゲッティスクリプトたちを使えなくなってしまうアプリケーションサーバにログをパースさせるための負荷をかけたくないそれでも使ってみたい、現存の古臭い解析機構をアクティブにしたまま、徐々にfluentdによる先鋭的なログ解析を始められたらいいなと思っている方、 fluent-agent-liteと td-agent で、fluentd を小さくはじめてみたらいいと思います。結論を先に言うと、fluent-agent-lite + fluent-plugin-file-alternative + fluent-plugi

kiririmode 2013/06/05

fluentd

リンク

製品・サービス｜サイオステクノロジー株式会社

Product & Service製品・サービス世界中の人々のために、不可能を可能に。サイオステクノロジーは、イノベーションによって人々の課題を解決し、より良い社会の実現に貢献します。

kiririmode 2013/05/30

fluentd
td

リンク

Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- - Tech-Sketch

OSSのログ収集管理ツールFluentdを用いてログを統合管理している場合の懸念点として、ログの収集漏れが考えられます。 Fluentdでは、バッファ機能を活用することでログを収集漏れすることなく確実に収集することができます。このバッファ機能のメカニズムを理解すべく動作検証した結果を紹介します。対象とするFluentdのバージョンは0.10.30です。 Fluentdとは Ruby実装のOSSのログ収集管理ツールです。 Fluentdは、Input、Buffer、Outputの3つのコンポーネントで実現されています。様々な場所からログを収集、JSON形式に変換し(Input)、蓄積(Buffer)、様々な出力先にデータ出力(Output)します。例として、あるサーバ(server01)のApacheのアクセスログを別のサーバ(server02)内にファイルとして出力する場合

kiririmode 2013/05/30