NaokiOsakoのブックマーク - はてなブックマーク

サクサク読めて、アプリ限定の機能も多数！アプリで開くはてなブックマーク閉じる ●はてなブックマークって？●アプリ・拡張の紹介●ユーザー登録●

NaokiOsako id:NaokiOsako ● 7 ブックマーク ● - お気に入り ● - お気に入られ

NaokiOsakoのブックマーク (7)

AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ

● 439 users ● blog.engineer.adways.net ●テクノロジーエージェンシー事業でリードアプリケーションエンジニアを行なっている大窄直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとかどのくらいの期間保持すれば良いのかとかまたその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要本題に入る前の準備今回ログ実装するアーキテクチャログに関する法令ログの取得箇所設計保管するログの決定インフラのログOSのログアプリケーションのログログの保管保管場所について保管期間についてバケット構造アプリケーション, OSのログの転送実装アプリケーション, OSのログをfluentbitを用いてS3

NaokiOsako 2023/10/20

筆者の大窄です!!めっちゃ頑張って書いたんで, ぜひ読んでみてください. 質問あれば, Xに連絡してくれれば返答します! (ここのコメントって返信できないんだ....) リンク

IMDSパケットアナライザーを用いたIMDSv2 への移行方法 (EC2.8対応) - Adwaysエンジニアブログ

● 7 users ● blog.engineer.adways.net ●テクノロジーエージェンシー事業でリードアプリケーションエンジニアの大窄直樹 (おおさこ)です. 最近は SRE 的な業務が楽しく, サービスの品質の向上や, 費用削減にハマってます. 現在は Security Hub の AWS 基礎セキュリティのベストプラクティスのスコアアップが楽しいこの頃です. 今回はその中の一つである "EC2.8 EC2 インスタンスでは、Instance Metadata Service Version 2 (IMDSv2) を使用する必要があります" の対応について記載していこうと思います. IMDS(Instance Metadata Service) とは IMDSv2 への移行 (v1を無効化してv2のみ使える状態) IMDSv2 への移行手順を実施 1. CloudWatch の MetadataNoToken を確認 2. IMDS パケットアナライザーを用い

NaokiOsako 2023/07/07

リンク

EC2のキャパシティー不足(Insufficient Instance Capacity)を解消する手法 - Adwaysエンジニアブログ

● 3 users ● blog.engineer.adways.net ●テクノロジーこんにちは, 大窄直樹(おおさこ)です. 今回は, EC2のキャパシティー不足(Insufficient Instance Capacity)を解消する手法についてまとめようと思います. 背景 EC2のキャパシティー不足(Insufficient Instance Capacity)のエラーとはキャパシティー不足を解消する方法手動操作でエラーが発生した場合システムでエラーが発生した場合選び方まとめ Q &A参考資料背景ある社内サービスで, 定期的に今日は処理が遅いなということがありました. 調査した結果, EC2のオートスケーリングで希望数のインスタンスを確保できていないことが原因で処理が遅くなっていることがわかりました. EC2のキャパシティー不足の解消方法がまとまってると良いなと考え, 今回のブログを書きました. EC2のキャパシティー不足(Insufficient

NaokiOsako 2022/12/09

とても良かったリンク

Adwaysってチャレンジングで自由度高い会社って本当??? - Adwaysエンジニアブログ

● 5 users ● blog.engineer.adways.net ●テクノロジーデータエンジニアの大窄直樹(おおさこ)です!!! 今日(2022-04-01)でAdwaysに新卒入社してちょうど2年です. 気持ちはまだ数ヶ月前に入社したような感覚なんですけどもう2年みたいですw今回のブログは, 就活中のエンジニア志望の方がAdwaysに面談を申し込もうか悩んでいる人を対象にしたものです. 内容は, 今日でちょうど入社して2年ということもあってこの2年を振り返ってどのような仕事をしたか, 毎日どのように働いているかをまとめようと思います!!付け加えて, Adwaysってチャレンジングで自由度高い企業というのを入社前の面談で聞いたのを思い出したのでそれの検証も兼ねながらブログを書こうと思います. このブログを通して, 現在就活をしている方がAdwaysとマッチするかどうかの判断材料にしてくれたらなと思います. 今回のブログでAdwaysに興味を持ってくれた方や,

NaokiOsako 2022/04/01

リンク

複数の AWS アカウントの AWS Security Hub 検出結果を Google BigQuery と Google DataPortal(DataStudio) により可視化した話 - Adwaysエンジニアブログ

● 30 users ● blog.engineer.adways.net ●テクノロジーこんにちは、インフラの天津です。今日は複数アカウントの AWS Security Hub 検出結果の可視化についてお話したいと思います。前提モチベーション AWS Security Hub とは構想ツール・サービスの選定検出結果データのエクスポートについて可視化用データベース︵またはクエリサービス︶と可視化ツールについて構築全体像検出結果データエクスポート検出結果データの S3 -> GCS への転送と BigQuery へのインポート Security Hub からエクスポートしたデータには BigQuery のカラム名に使用できない文字(以下禁則文字)が使用されている件自動判別で生成されたスキーマでインポートした際に INTEGER 型のカラムに STRING 型のデータが入ってくることがありインポートエラーが発生する件 AWS アカウントデータの S3 ->

NaokiOsako 2022/03/25

よかったです!!! リンク

自社のデータ分析基盤をSLOを用いてデータドリブンに品質向上 - Adwaysエンジニアブログ

● 2 users ● blog.engineer.adways.net ●テクノロジーお久しぶりです!!! データエンジニアの大窄直樹 (おおさこ)です. 今年も始まったかと思いきや, もう年末で驚いています. 年齢を重ねるにつれ, 光陰矢の如く1年が過ぎ去っていきますね(笑) それでは, 本題に入ろうと思います. 今回は, 自社のデータ分析基盤作成システムにSLOを導入し, 運用することでシステムの信頼性を向上できた話をしようと思います. (SLOは, 本来のものを少々独自解釈している部分があります) SLOの導入に至る背景 SLOとは??データ分析基盤作成システム SLOの導入に苦戦 SLOの導入 SLOの運用私たちのSLOの反省点??最後に SLOの導入に至る背景ある日, PO(Product Owner)とSE(System Enginner)の日常会話です. PO: 最近障害多いような気がする??? なんか良い感じに品質上げれない??? SE: 確かに,

NaokiOsako 2021/12/10

リンク

DWHをBigQueryに移行した後の話 - Adwaysエンジニアブログ

● 3 users ● blog.engineer.adways.net ●テクノロジーはじめに DWHをBigQueryに移行した背景 BigQueryに移行して良かった速い安い充実した機能タイムトラベル Googleサービスとの連携 BigQueryにDWHを移行してからやったことあとがきはじめにこんにちは, データエンジニアの大窄直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景弊社では, 膨大な広告データを取り扱っています. データサイズが大きいと, その集計処理もまた負荷が高いものとなります. 弊社では数年前, データ基盤としてAuroraを選択しました. データサイズが小さいうちは, Auroraでの集計処理が可能だったのですが, データサイズの増加に伴い, 集計処理にかかる時間は