[B! ログ] iwanofskyのブックマーク

iwanofsky id:iwanofsky

ログに関するiwanofskyのブックマーク (35)

メトリクス、ログ、トレースをうまく使い分けて可観測性を高めよう！
イベント名: オブザーバビリティ再入門 - 大切さと高め方を知ろう！イベントURL: https://mackerelio.connpass.com/event/316449/ 概要: 可観測性の概念を理解し、OpenTelemetryなどの実装に必要な道具があっても、自分たちのプロダクトやチームにどう適用させていけばよいのかは、自分たちで考え、設計しなければなりません。開発チームがメトリクス、ログ、トレースをどういった基準で採用していくかについて、具体例を用いながらお話します。
iwanofsky 2024/06/06
ログ

入門

監視

イベント
リンク
ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ
三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている鈴木 (@ken5scal )です。いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析を行うことで、セキュリティインシデントの早期発見や対応、コンプライアンス要件の達成が可能になります。このようなログ一元管理を実現する代表的なソリューションは、そう、皆様よくご存知のSIEM。我らが﹁Security Information and Event Management﹂であります。私はSIEMを、新卒で入社した大手企業でSOC(Security Operation Center)として触れ、その後ユーザー企業でもOSSやAWS GuardDuty︵？︶などの形で利用す
iwanofsky 2024/03/29
膨大な量を保全してクラウドに置くには最適化がむずいのよね。オンプレを口にしちゃいかんのだけど、溜め込んでじっくりやる分にゃやりやすいが、まぁねぇ。段階的もバベルの塔みたいだわし、、

ログ

データ

セキュリティ

security

SIEM
リンク
ロギングベストプラクティス - kawasima
#翻訳 https://www.scalyr.com/blog/the-10-commandments-of-logging/ CC BY 4.0 @Brice Figureau 1.自分でログの書き出しをしない printfをつかったり、ログエントリを自分でファイルに書き出したり、ログローテションを自分でやったりしてはいけない。運用担当者にお願いして、標準ライブラリやシステムAPIコールを使うようにしよう。そうすれば、実行中のアプリケーションが他のシステムコンポーネントと適切に連携して、特別なシステム設定なしに適切な場所またはネットワークサービスにログを記録できるようになる。ロギングライブラリを使いたければ、特にJavaの世界にはLog4j, JCL, slf4j, logbackなど多くのものが存在する。私はslf4jとlogbackを組み合わせて使うのが好きだ。とてもパワフルで、設
iwanofsky 2020/01/18
いいまとめ

プログラム

Java

アプリケーション

ログ

システム
リンク
え、そんなに！？意外と知らないAWSでお金がかかるポイント5選！！ | DevelopersIO
﹁でかいインスタンスを建てればAWSの料金が高くなっていく…。﹂﹁大量購入すればお金が飛んでいく…。﹂こんにちは(U・ω・U) AWS事業部の深澤です。おそらく皆さん、上記のようなお話はご存知かと思います。弊社のエンジニアにもカジュアルに﹁AWSでお金いっぱい溶かすならどうしますか？﹂と聞いたところ、﹁リザーブドインスタンスをまとめ買いする﹂と即答されました。しかしAWSには豊富なサービスがあり、料金の掛かり方も多様です。使い方を一歩間違えるとお金がどんどん溶けていくと行った事態になりかねません。そこで、今回は意外と気が付かない料金を調査したのでまとめてみました！注意今回ご紹介するものは実際に検証したものではありません。AWSの料金表を確認して、実際このくらい溶けるのではと計算した理論値になります。日本円のレートは執筆時現在のレートとなります。リージョンは東京です。それぞ
iwanofsky 2019/11/08
ふむふむ

aws

お金

サービス

ログ

データ
リンク
【AWS Data Lake】ニアリアルタイムデータ分析環境・スピードレイヤを構築してみた（ハンズオン1） | DevelopersIO
こんにちは。DA事業本部の春田です。管理のしやすさや拡張性の高さで注目を集めている、次世代のデータ分析基盤Data Lakeについて、ハンズオンにトライしてみました。 Datalake Handson 本記事では、Lab1~Lab3のニアリアルタイムデータ分析環境︵スピードレイヤ︶を構築していきます。 Lab1: はじめの準備 Lab1: はじめの準備はじめにハンズオン共通で使用するVPC、EC2、IAM Roleを設定していきます。まずEC2で使用するキーペアを作成します。上で作成したキーペア datalake-handson-haruta を用いて、CloudFormationからEC2インスタンスを作成します。 EC2の構築が完了したら、 datalake-handson-haruta の公開鍵でSSHログインし、 /root/es-demo/testapp.log にログが吐
iwanofsky 2019/10/08
fluentd

ログ
リンク
AWSのログ管理ベストプラクティス
AWS Black Belt Online Seminarの最新コンテンツ: https://aws.amazon.com/jp/aws-jp-introduction/#new 過去に開催されたオンラインセミナーのコンテンツ一覧: https://aws.amazon.com/jp/aws-jp-introduction/aws-jp-webinar-service-cut/
iwanofsky 2019/02/28
集約してぇ

ログ

log

サーバ

aws

サービス
リンク
静的なIPアドレスを持つNLBがTLS Terminationに対応してアクセスログも出力可能に！ | DevelopersIO
大栗です。 Network Load Balancer（NLB）はIPアドレスが固定で、秒間数百万リクエストでも簡単にスケーリングするロードバランサーですがTCPのバランシングを行うだけでTLSのTerminationは行なえませんでした。アップデートによりTLSのTerminationが可能になり、アクセスログも出力可能になりました。 New – TLS Termination for Network Load Balancers Network Load Balancer Now Supports TLS Termination TLS Listeners for Your Network Load Balancer NLBのTLS Termination TCPに対するTLS Terminationは旧世代のロードバランサーであるClassic Load Balancer（CLB）で
iwanofsky 2019/01/25
おおお

ログ
リンク
TCPパケットを解析して構造化ログでダンプするツール tcpdp を作った - Copy/Cut/Paste/Hatena
やっと形になってきました。 github.com ﹁データベースのクエリログを取得したい﹂例えば、データベース︵RDBMS︶のクエリログを取得したいとき一番確実な方法は、そのRDBMSに備わっているログ機構を利用することです。一方で、全てのクエリログを出力するとなるとそれなりにIO負荷がかかることが予想されるので、負荷状況によってはクエリログ出力︵のIO負荷︶を別サーバに分離したくなります。では、どうすればよいかというと、例えばアプリケーションサーバとデータベースサーバの間にプロキシサーバを挟んでそこで記録することでIO負荷を分離するアプリケーションサーバ側で︵notアプリケーションで︶記録することで︵大抵、サーバ台数の多い︶アプリケーション側にIO負荷を分散するというような方法を思いつきます。そこで、﹁もし、TCPコネクション上に流れている︵例えば︶クエリログを解析してログ
iwanofsky 2018/09/25
TCP

ログ

ツール

サーバ
リンク
Windowsのイベントログ（Security）を見る①　～Microsoft Message Analyzerのススメ～ - サイバーセキュリティはじめました
先日、にゃん☆たくさん（@taku888infinity）のブログでWindowsイベントログの見方について記載がありました。 mkt-eva.hateblo.jp 私もたまにWindowsのイベントログを見ることがありますが、「イベントログの見方」について紹介されているサイトが非常に少ないため、とても助かりました。で、私も公開しておいたほうが、誰かしらの役に立つのではないかと言うことで、記事にしてみることにしました。 Microsoft Message Analyzerのススメ Microsoft Message Analyzerとは Microsoft Message Analyzerのインストール Microsoft Message Analyzerでできることまとめ Microsoft Message Analyzerのススメ「イベントログを見る」と聞くと、Windowsに最
iwanofsky 2018/07/03
へー

ログ

message

microsoft

イベント

windows
リンク
PostgreSQLのログをFluentdで収集する
データベースの運用管理にログの情報は不可欠ですが、オープンソースのDBMSであるPostgreSQLが出力するログは、直接取り扱うのに適した形式とは言えません。そこで本記事では、オープンソースのログ収集ツールであるFluentdを使って、PostgreSQLのログを運用管理に活用しやすい形に加工する方法を紹介します。PostgreSQLの運用管理に使う稼働統計情報とログデータベースを安定稼働させるには、データベースを健全な状態に保つ運用管理が必要不可欠です。データベースの運用管理には一般的に死活監視、リソース監視、性能分析、チューニング、バックアップといった項目が挙げられますが、まずは監視によって正しく現状を把握することが、運用管理の第一歩と言えるでしょう。PostgreSQLで監視に使える機能には、稼働統計情報とログがあります。稼働統計情報はPostgreSQLの様々な稼働情報を蓄積
iwanofsky 2014/10/04
PostgreSQL

db

database

fluentd

データベース

data

ログ

あとで

cache

sql
リンク
Webサーバのログをリアルタイムで解析、監視できる『GoAccess』コマンド | 俺的備忘録〜なんかいろいろ〜
今回は、Webサーバのログ解析をリアルタイムで行えるコマンド『GoAccess』を紹介する。 1.インストールまずはコマンドのインストールから。以下のコマンドを実行する。ソースコードからmakeする場合 wget http://tar.goaccess.io/goaccess-0.8.5.tar.gz tar -xzvf goaccess-0.8.5.tar.gz cd goaccess-0.8.5/ ./configure --enable-geoip --enable-utf8 make sudo make install パッケージ管理ソフトからインストールする場合 brew install goaccess (Mac OS Xの場合) sudo apt-get install goaccess (Debian/Ubuntuの場合) sudo yum install goacc
iwanofsky 2014/09/14
install

log

Linux

ログ

Server

web

ツール

コマンド

access

webサーバ
リンク
ログをカラフルにしてもっと見やすく！『ccze tool』 | 俺的備忘録〜なんかいろいろ〜
今回は、catやtailと組み合わせてログをカラフルに色分けし見やすくする﹃ccze tool﹄を紹介する。 1.インストールまずはインストール。以下のコマンドを実行する。 sudo yum install ccze --enablerepo=epel (CentOSの場合) sudo apt-get install ccze (Debian/Ubuntuの場合) 2.コマンドの実行さて、それでは実際にコマンドを実行してみよう。tailコマンドで、﹁/var/log/messages﹂を確認する。tail /var/log/messages | ccze -A 上半分はcczeを利用していない状態。下半分でcczeを用いている。うーむ、確かに見やすい… むろん、﹁tail -F﹂でも閲覧可能だ。tail -F /var/log/messages | ccze -A ちなみ
iwanofsky 2014/09/04
log

install

Linux

Debian

centos

コマンド

tool

ログ

ubuntu

インフラ
リンク
制限事項｜機能｜SKYSEA Client View
英語版OSには、端末機の一部機能のみ対応となります。アンケート・注意表示等の各種表示は日本語になります。正しく表示させるためには別途日本語ランゲージパックのインストール、システムロケールの変更︵日本語︶、表示言語を日本語に設定する必要があります。 64bit版OSおよび英語版OSの対応ソフトウェアは、記載されている製品の中で、64bit版OSおよび英語版OSそれぞれに対応しているソフトウェアのみとなります。﹁動作環境﹂に記載のOSは、サービスパックまで指定されたもののみ対応となります。その他のエディションについては、別途お問い合わせください。 SKYSEA Client View端末機︵Windows︶がインストールされたサーバーにおいて、﹁サーバーの役割と機能﹂から追加可能なすべての役割や機能に対して正常動作を保証することはできません。現状、フェールオーバークラスタリング機能ではフェー
iwanofsky 2013/12/11
windows

OS

ログ

microsoft

ソフトウェア

インストール

server

web

office

メール
リンク
Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは
iwanofsky 2013/12/05
fluentd

*あとで読む

DevOps

fluend

フレームワーク

DataMining

プラグイン

ログ

サーバ
リンク
apacheのログローテション時にapacheをリロードまたは再起動させない - igreks開発日記
iwanofsky 2013/10/07
Apache

log

サーバ

サーバ構築

ログ

Linux

web

cron
リンク
fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongo dbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで最近は、fluentd + mongo db でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい!という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
iwanofsky 2013/02/21
mongodb

fluentd

development

nodejs

graph

ログ
リンク
LTSV のもうひとつのメリット、あるいは、プログラムでログを出力する際に気をつけるべきこと - kazuhoのメモ置き場
Labeled Tab-separated Values (LTSV) がブームのようです。 LTSV については、ラベルをつけることで柔軟に拡張できるという点が、その特徴として取り上げられますが、もう一点、タブをセパレータに使うことでログのパースが簡単になった、という点を忘れるべきではないでしょう。特に httpd のログは NCSA httpd という HTTP/0.9 時代のWebサーバのログフォーマットがベースに拡張されてきたため、以下のようにセパレータとして空白、[]、ダブルクォート ("")*1が混在するという、とても処理しづらいものになっていました。どれほど複雑かは﹁404 Blog Not Found:perl - Apache Combined Log を LTSV に﹂の実装を見れば明らかでしょう。 127.0.0.1 - - [08/Feb/2012:23:52:4
iwanofsky 2013/02/08
LTSV

HTTP

log

apache

ログ
リンク
HP Technical Support, Help, and Troubleshooting | HP® Customer Support
iwanofsky 2012/10/23
HP

support

ログ

storage

サーバー
リンク
複数のサーバから一斉にファイルを収集するのにpslurpが便利 - Glide Note
以前、ブログに書いて以来、活用しているpsshとpscpなんですが、付属コマンドのpslurpについてはすっかり忘れて全く利用していなかったんですが、同僚の刺身さんが結構活用しているというのを聞いて、改めて使ってみると大変便利！ Parallel sshで複数のホストへ同時にコマンドを実行する | Glide Note - グライドノート環境はSL6.1です。 pslurpの使いどころ複数のサーバからaccess.logなどのログ、my.cnfといった設定ファイルなどの同名ファイルを持ってくる場合 DNSラウンドロビンや、ロードバランサを利用していてアクセスログが分散している場合通常何も考えずscpとかで持ってくるとファイルが上書きされてしまうので、ホスト毎にファイルを分けて管理したい場合にpslurpが活躍します。 pipを利用してpsshの導入 2012年なんでeasy_i
iwanofsky 2012/09/17
コマンド

サーバ

ロードバランサ

アクセスログ

SSH

install

ログ

log

DNS

2012年
リンク
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記はてなグループ日記のエクスポートデータは2020年2月28
iwanofsky 2012/08/12
screen

アクセスログ

tail

ログ

tool

ツール

YAPC

git

javascript

ネタ
リンク
1 2 次のページ