[B! log] miguchiのブックマーク

【AWS】Amazon CloudWatch Logs でログ収集をやってみた｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本

2020.06.23 ｜ Writer‥サマタ︻AWS︼Amazon CloudWatch Logsでログ収集をやってみたクラウドに関する情報満載のNTT東日本メールマガジンはこちらからご登録ください。 1.はじめに初めまして、クラウド導入・運用サービスにて構築担当をしているサマタと申します。このようなコラムを記載するのは初めてで至らない点もあるかと思いますが、どうぞよろしくお願いいたします。今回のコラムでは、AWSの運用サービスでも主要なAmazon CloudWatch(以下、CloudWatch)機能のひとつである、Amazon CloudWatch Logs(以下、CloudWatch Logs)についてご紹介したいと思います。オンプレミス環境と同様に、AWS環境にインスタンスを構築した際も、サーバやアプリケーションのログ収集を行いたいという要望は多いのではないでしょう

miguchi 2021/11/07

リンク

ECSのログ管理にFirelensを導入してみた - Gunosy Tech Blog

はじめにこんにちは。SRE部の板谷(@SItaya5)です。 Gunosyでは様々なプロダクトでECS(Amazon Elastic Container Service)を使用してタスクを実行しています。 ECSの起動タイプにはEC2とFargateの2種類がありますが、どちらのタイプも混在しています。ログの送信先としては、主にPapertrailというサービスを使用しています。しかし、Fargateで実行しているタスクに関しては、ログの送信先(Log Driver)に選択の余地がなく、Cloudwatch Logs一択でした。そのため、EC2で実行しているタスクのログはPapertrailに送信されていましたが、一方のFargateで実行しているタスクはCloudwatch Logsに送信せざるを得ませんでした。このように起動タイプ毎にログの送信先が分かれており、管理が煩雑にな

miguchi 2021/07/27

log
fluentd

リンク

AWS Fargate で Amazon EKS を使用するときにアプリケーションログをキャプチャする方法 | Amazon Web Services

Amazon Web Services ブログ AWS Fargate で Amazon EKS を使用するときにアプリケーションログをキャプチャする方法 Amazon Elastic Kubernetes Service (Amazon EKS) が、AWS Fargate でアプリケーションを実行可能にKubernetes ポッドは EC2 インスタンスをプロビジョニングして管理することなく、実行できます。Fargate はすべてのポッドをVM分離環境で実行するため、daemonsets の概念は現在 Fargate には存在しません。したがって、Fargate を使用しているときにアプリケーションログをキャプチャするには、アプリケーションがログを出力する方法と場所を再検討する必要があります。このチュートリアルでは、Fargate で実行されているポッドのアプリケーションログ

miguchi 2021/07/27

リンク

WebRequest API でワザとリクエスト送信を遅くしてみた - hogehoge @teramako

WebRequest APIドキュメントを見ると、幾つかは blocking を指定して、同期的な実行にすることでリクエストヘッダだとかを書き換えたりできるようになってる。この前 DoNtTrackME なる拡張を作ったんだけど、これもリクエストヘッダに、DNT: 1を追加するものだった。これらを使えば、リクエストそのものを送らないようにとかできる AdblockとかNoScript的なことブロックしたいものとブロックするものとを判別するためにどうしてもホワイトリストまたはブラックリストが必要だよね。このリストが膨らんで判別に時間が掛かるようになったら、どうなるの？ってことで、ちょっと試してみた。スクリプト background.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>

miguchi 2015/09/28

log
chrome

リンク

JavaScript開発のデバッグを加速するlog出力！

ブラウザのデベロッパツールのコンソールへlogを出力する方法と、その際の注意点や解決策についてソースコード付きで解説します。最終的にはlog出力の完成形として、IEエラー回避、consoleオブジェクトの記述無し、デバッグ切り替え機能付きのプラグインの作成まで順を追って解説致しますので、最後までお付き合い頂ければ幸いです。 JavaScript開発において、変数の中身の確認や、処理フローの状況を確認する為には、今まではHTMLへ出力したり、alert()等で通知したりといった事が主流でした。しかし、ブラウザの技術進歩により、かなりJavaScript開発の手助けとなる機能が充実して来ました。そんな中、ブラウザのデベロッパーツールのJavaScriptコンソールへ logを出力する事が可能となりました。今回の記事では、そんなlog出力の方法と、Safari、ChromeやFi

miguchi 2015/09/27

リンク

MySQLスレーブの整合性を保つための３つの設定

MySQLのスレーブサーバが落ちて、立ち上げた時にマスターとの整合性を心配したくないのであれば以下の設定を入れると良いそうです。 MySQL設定ファイルに追記 # emacs /etc/my.cnf [mysql] binlog_checksum = CRC32 relay_log_info_repository = TABLE relay_log_recovery = ON MySQLをリスタート # service mysqld restart 各設定に意味については、下記サイトが参考になります。 binlog_checksum = CRC32 ”バイナリログが破損した場合に破損を検出し易くするために、バイナリログにチェックサムを追加” http://thinkit.co.jp/story/2014/01/23/4717/p

miguchi 2014/10/28

mysql
log

リンク

apacheのlogrotateを1時間毎に吐き出そうとした記録 - 生涯未熟

サーバ屋さんじゃないのにサーバ屋さんっぽいことをやってます。 apacheにはlogrotateというログを産む機械（システム）があるんですが、これがデフォルトだと超絶イケてない。 logrotate.conf # see "man logrotate" for details # rotate log files weekly weekly # keep 4 weeks worth of backlogs rotate 4 # create new (empty) log files after rotating old ones create # uncomment this if you want your log files compressed #compress # RPM packages drop log rotation information into this di

miguchi 2014/10/20

log

リンク

GitHub - lebinh/ngxtop: Real-time metrics for nginx server

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

miguchi 2014/03/23

リンク

GoAccessでリアルタイムにアクセスログを解析する - Qiita

GoAccessとは GoAccessは、ターミナル上で動作するリアルタイムログ解析ツールです。 Apacheのログをコマンドライン引数に与えると、リアルタイムにリクエストされているURLやアクセス元ホスト、ステータスコードなどを集計し、画面に表示します。導入 Macユーザーであれば、Homebrewを使うと、brew install goaccessを実行するだけでインストールできます。 *NIX系の環境であればGoAccessのインストール方法を参照してインストールしましょう。Ubuntuでは、apt-get install goaccessでもインストールできるようですが、Ubuntu 12.04ではGoAccessのバージョンが0.4.2(GoAccessの最新バージョンは0.7)となっていたので、可能であればソースからインストールするのがよいでしょう。環境によってはlibg

miguchi 2014/02/05

goaccess

リンク

Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）

前回の記事では splunk enterpriseを使ってみました。今回もログ解析プラットホームである、Kibanaを使ってみます。Kibanaは検索などにElasticsearchを利用します。またKibanaはデータの収集にLogstashの利用を推奨しています。それぞれ以下のようなプロダクトです。 Logstash ログデータを収集し、解析して保存します。この組み合わせで使用する場合、保存先はelasticsearchになります。 Elasticsearch リアルタイムデータの全文検索や統計などをRestfulインターフェースで提供します。Kibanaデータの情報を描画し、検索したりドリルダウンで情報をたどれるGUIアプリケーションです。この3つを組み合わせて使用すると便利なログ解析プラットホームが作れますよというのがKibanaの売りです。データの収集や解析を行

miguchi 2013/09/12

リンク

Large Scale Log Analysis with HBase and Solr at Amadeus (Martin Alig, ETH Zurich)

This talk was held at the second meeting of the Swiss Big Data User Group on July 16 at ETH Zürich. http://www.bigdata-usergroup.ch/it em/296477

miguchi 2013/06/10

リンク

Flumeを活用したAmebaにおける大規模ログ収集システム

Hadoop Conference Japan 2013 Winterの資料です。Flume再起動時のIndex再構築の表現は若干補足修正しました。Read less

miguchi 2013/05/24

リンク

アプリからの情報を秘密裏にApacheのログに書き出す方法

Response Header の値を任意の環境変数にコピーして、Header から削除する patch

miguchi 2013/03/11

リンク

LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー

引き続き LTSV について。Text::LTSV はやってることは単にタブの split でしょうもないのだけど、せっかく作ったんだし何か利用方法はないかなと考えた。 LTSV のログは欠点があってそのままでは見づらいこと。 Text::LTSV でハッシュになるのだから、YAML とかで出力したらどうなるか試してみよう。さらに、YAML に色づけする YAML::Tiny::Color というのがあったぞ。 #!/usr/bin/env perl use strict; use warnings; use Project::Libs; use YAML::Tiny::Color qw/Dump/; use Text::LTSV; while (<>) { my $hash = Text::LTSV->parse_line($_); print Dump $hash; } こんなスクリプ

miguchi 2013/02/07

リンク

イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi

こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogdのようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。ただ syslogdとは異なり、ログメッセージにテキストではなく JSON オブジェクトを使います。またプラグインアーキテクチャを採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です‥イベントログ収集ツール #fluent 周りの最近の話題背景﹁ログの解析﹂は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め

miguchi 2012/02/06

リンク

はてなブックマーク

タグ

関連タグで絞り込む (26)

logに関するmiguchiのブックマーク (15)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス