[B! log] sinnra0のブックマーク

sinnra0 id:sinnra0

logに関するsinnra0のブックマーク (8)

オブザーバビリティ（可観測性）がなぜ必要だと考えるのか - YAMAGUCHI::weblog
はじめにこんにちは、Stackdriver担当者です。本記事は完全に個人の意見です。︵念押し︶ GCP的に担当製品がわかりやすいのでStackdriverの担当と書いてますが、仕事での担当領域的には﹁オブザーバビリティ (Observability、可観測性)﹂です。この﹁オブザーバビリティ﹂という言葉が近年SREの文脈で語られることが増え、また今年に入って﹁入門監視 ("Practical Monitoring" の日本語訳)﹂が刊行されたことで、日本でもより多く耳にするようになりました。 SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム発売日: 2017/08/12メディア: 単行本︵ソフトカバー︶入門監視 ―モダンなモニタリングのためのデザインパターン作者:Mike Julian発売日: 2019/01/17メディア:
sinnra0 2019/03/25
log
リンク
マイクロサービスにおけるログ収集の課題と取り組み
データとML周辺エンジニアリングを考える会 #1 2019 / 01 / 18 の資料です https://data-engineering.connpass.com/event/111658/
sinnra0 2019/01/20
あとで読む

log
リンク
Python Logging in Kaggle - 茶番と世間体
本記事はkaggle Advent Calendar 2018の16日目の記事となります。 PythonでのLogについて、自分の経験の範囲でまとめたもの著者[twitter:@icebee__] 目次目次なぜKaggleでLogを取りたいかどういう情報が欲しいか現状の私のログ取得方法基本実行時間の記録処理過程の記録実験の記録まとめ参考にさせていただいた諸々なぜKaggleでLogを取りたいか Kaggleのようなコンペティションにおいて、ログを取る目的は大きく二つ。プログラムの実行記録。デバッグやボトルネックの発見のため機械学習プログラムの実行時間は長くなりがち。試行錯誤の回数を得るためにもボトルネックは把握して解消したい。バグもエラーが出るものばかりではない。自分の意図した処理になっているのか後から確認できるようにしたい。実験や各種試行錯誤、機械学習の学
sinnra0 2018/12/18
python

log
リンク
僕たちはどうマイクロサービスのログを収集するのか | メルカリエンジニアリング
Mercari Advent Calendar 2018 の14日目はメルペイ DataPlatform チームの @syu_creamがお送りします。本記事では表題の通り、メルカリとメルペイにおける、マイクロサービスのログ収集に関する課題と取り組みについて記載します。メルカリとメルペイでは、現在クライアントアプリやサーバサイドのログを効率的に収集してサービスの他機能で活用するための基盤の開発を共同で行っています。メルカリ・メルペイ間では、一部提供するサービスの差異やデータ管理のポリシーの都合によりインフラ構成が異なる部分はありますが、少なくとも思想や設計、実装は共有しています。これの具体的な内容については、今回の Advent Calendar の3日目の記事に掲載しています。本記事では、サービスを提供するサーバサイドアプリケーションから、この構成図における “A Ser
sinnra0 2018/12/15
log

あとで読む
リンク
Developers Summit で登壇してきました！ | Recruit Tech Blog
こんにちは、 @yuzutas0 です。﹁いかにDataとOpsを繋げるか﹂というテーマでDevelopers Summit 2018 Summerに登壇しました。多岐に渡るトピックを網羅しているので、以下のような内容に興味のある方はぜひスライドを参照ください。 Webマーケティングにおけるデータ活用事例﹁自然に﹂﹁無理なく﹂データを活用できるようなユーザー体験のデザインデータ基盤のアーキテクチャやインフラ設計データチームへのスクラム開発手法の適用非エンジニア・サイエンティストがデータ分析を実施するための文化醸成なにはともあれ無事に終えることが出来てほっとしています。ご関係者の皆様、誠にありがとうございました。 DataOpsとは何か本稿では裏話として、タイトルにある﹁DataOps﹂の意味についてご説明します。 DataOpsという言葉ですが﹁DevOps﹂のコンセプト
sinnra0 2018/12/12
architecture

あとで読む

log
リンク
Elasticsearchに溜まったログのサマリーをLambdaで毎朝Slackに通知、する仕組みをTerraformで構築する - Qiita
Elasticsearchに溜まったログのサマリーをLambdaで毎朝Slackに通知、する仕組みをTerraformで構築するAWSElasticsearchlambda Slack Terraform こちらはDMM.com Advent Calender 2018 10日目の記事です。入社2年目の@r548です。入社してからはDMMの動画サービス、その中でも特にProductivityに関わるチームでログ収集基盤の構築やUIパーツのコンポーネント化などをやっています。はじめに DMMの動画サービスでは、エラーログ分析にElasticsearch(+kibana)を使っています。皆さんもELKスタックでログ基盤を構築しているところが多いのかなと思います。しかし、運用していく中でいくつか課題がありました。いつも同じ人しかログを見ていないkibanaでログを分析するだけで、その他に有
sinnra0 2018/12/12
elastic

log

あとで読む
リンク
DeNA流データエンジニアリングの極意
Developers Summit 2017 における「DeNA の機械学習基盤と分析基盤」の発表から「データエンジニアリングの極意」のパートを抜き出したもの。「機械学習基盤」のパートについては https://speakerdeck.com/sonots/dena-aisisutemubu-nioke…
sinnra0 2018/12/06
ML

あとで読む

log
リンク
https://www.elastic.co/jp/assets/blt48c0a2a533cd6a72/docker-kubernetes-webinar-japanese-slide.pdf
sinnra0 2018/12/06
log

elastic

あとで読む
リンク
1