[B! aws] unaristのブックマーク

AS59128 のフロー情報収集と Amazon Athena での分析 - KMC活動ブログ

こんにちは、 id:sora_h です。これは KMC Advent Calendar 2023 12 日目の記事です (大遅刻)。 KMC ではインターネット接続手段の 1 つとして AS59128 を 2017 年頃より運用して、部室内のサーバーや一部の部員が利用しています。これまでフロー情報の収集は行ってきませんでしたが、今年、フロー情報の統計を収集して分析を可能にしたため、その実装を軽く紹介します。地味に pmacctd のドキュメントが難解だったので…。経緯 AS59128 は運用初期から複数のトランジットやピア、東西に跨った複数拠点が存在していますが、外部の経路由来の障害や性能劣化についての調査はフロー情報なしで実施していて、特に変化前のトラフィックを確認することがそれなしでは難しくエスパーを繰り返してました。このままでは障害時の対応が手探りで安定運用に支障がある、また (

unarist 2023/12/25

aws
network

リンク

AWS IAM セキュア化の取り組み

鍵がいっぱいあるよこの記事は Eureka Advent Calendar 2021 の13日目の記事です。はじめにこんにちは、エウレカ SREチームのハラダです！ 2020年頃から今年にかけて、エウレカのSREチームとSecurityチームではAWS IAMのセキュア化を注力ポイントのひとつとして、継続的に取り組んできました。本記事では、その実践から学んできたIAM管理で守るべき大原則および、具体的にどうやってセキュアな理想像に近づけてきたか、今後の方向性などを話したいと思います。 Why “IAM” so important ?そもそもなんでIAMが注力ポイントなの？と疑問に思われる方もいるでしょう。クラウドの大きな強みである﹁すべてをAPI経由で操作できる﹂という性質ゆえに、IAMは大きなAttack Surfaceでもあります。 Gartner社の予測によると、2023

unarist 2021/12/14

aws
security

リンク

社外の開発メンバーをAWSアカウントに入れるときのIAM設定を考えている - kmiya_bbmのブログ

サービスを開発する際に、社外の業者さんに開発をお願いしたり、社外パートナーに開発に参加してもらう、ということがよくあります。開発に使うAWS環境として、うちの会社で作成したAWSアカウントに入ってきてもらうこともあるのですが、このときにAWSアカウントの管理者として社外の開発メンバーにどのような権限を持たせるのが良いか、それをどう実現するのが良いか、いつも悩みます。このエントリでは現時点での考えと実装方法をまとめておこうと思います。課題私が関わる案件で社外の開発メンバーに協力を仰ぐ場合、大抵はPoCから始まるような新規サービスの構築案件となるためAWSのどのサービスを使うか最初からすべて決まっていることは稀です。最初は ALB + EC2 + RDS で作り始めたシステムにDynamoDBが導入され、AWS IoT coreが導入され、Kinesis Stream が導入され、、

unarist 2021/11/25

aws

リンク

DMMでAWSセキュリティガードレールを作ったので、開発者がAWSセキュリティをチェックする文化を広げていきたい

DMMでAWS セキュリティガードレールを作ったので、開発者がAWS セキュリティをチェックする文化を広げていきたい

unarist 2021/11/24

aws
security

リンク

組織におけるAWSのアカウント管理とコスト管理

2021/03/20 (Sat.) JAWS DAYS 2021 トラックB 10:40〜

unarist 2021/03/29

aws
cloud

リンク

AWSが生まれたのは、Amazonが経費削減のためにSunのサーバからHP/Linuxサーバへ切り替えたことがきっかけ。当時の社員が振り返る

AWSが生まれたのは、Amazonが経費削減のためにSunのサーバからHP/Linuxサーバへ切り替えたことがきっかけ。当時の社員が振り返る 1990年代後半に、米Yahoo!などに代表されるインターネット系企業の株が高騰したインターネットバブルが発生しました。そのバブルが2000年前後にはじけると、ユーザー数の拡大を背景に資金調達をしてきた企業の多くが投資家からの資金を得られなくなり、行き詰まり始めます。 Amazon.comもそうした状況のなかで先行きを不安視された企業の1つでした。2001年4月の週刊東洋経済の記事には、最高値の10分の1程度にまで下がった株価のグラフとともに、﹁莫大な酸素︵キャッシュ︶を燃やし続けている﹂﹁2000年12月末時点で2000億円を超える債務超過だ﹂と記されています。当時Amazon.comのデジタルメディア部門ディレクターであったDan Rose氏

unarist 2021/02/13

aws
history

リンク

結婚式のエンドロールを当日作った話

結婚のお礼と報告でちょこっと書いた結婚式エンドロールをその場で作ってみたのお話注意事項# 結婚式のエンドロールを自作したりするには結婚式場の協力が必須です。作り出す前に式場に必ず確認を取りましょう。 PCからそのままプロジェクトにだせばいいじゃん！と思い込むのだめです(自戒) 動機# エンドロールを式場にお願いしようと思ったら高かったので、最近のイケてるサービスとか適当にガッチャンコすれば作れると思った。今は反省している。全体の構成# LINE Botに参加者から画像投稿を投げてもらう S3に保存すると同時に投稿者情報をDynamoDBに保存投稿された画像にDynamoDBの投稿者情報から名前を追記画像を全部結合して動画化し、事前に生成したエンドロールで必要な部分を結合式の最後に流してもらう全体の構成はこんな感じです。サーバーレスアーキテクチャのお勉強がてら作ろうとした

unarist 2021/01/18

aws

リンク

AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話

この記事は10日目の記事です。この記事は eureka Advent Calendar 2019 10日目の記事です。9日目は弊社iOSエンジニアのAymenによるでした。こんにちは。エウレカでSREをしている恩田と申します。好きなAWSサービスはVPCとRDS(Aurora)、好きな仕事は既存リソースのTerraform Importによるバージョン管理下移行作業 (社内通称IT 土木) とTerraformのアップグレードです。(この前ようやくv0.12対応が終わり歓喜)。家庭では生後5ヶ月になった娘と戯れたりしながら日々仕事に精を出す毎日を送っています。この記事では、エウレカで2019年度に実施したAWSのマルチアカウント環境におけるIAMマネジメントの最適化の試行錯誤の様子をお伝えします。解決したかった課題弊社が運営するオンラインデーティングサービス﹁Pairs﹂ア

unarist 2019/12/10

aws
security

リンク

AWS アカウント管理とセキュリティ監査自動化 | BLOG - DeNA Engineering

こんにちは、IT 基盤部髙橋です。 DeNA が提供するエンタメ系やヘルスケア系のサービスのインフラを見ており、そのグループのマネージャをしています。先日 AWS Loft Tokyo で DeNA における AWS セキュリティについて発表してきたので、発表では述べられなかった具体的な設定についていくつか記載します。 AWS アカウント管理 AWS アカウント管理を効率的に行うために、スライドの中でいくつかの施策を挙げています。その中の一部をコマンド例を交えて紹介します。 AWS Organizations を利用したマルチアカウント管理 AWS Organizations の特徴としては以下のようなものが挙げられます。アカウントの一元管理 OU (Organization Unit) を用いた階層的なグループ化も可能一括請求 (Consolidated Billing) アカウ

unarist 2019/08/25

aws
infra

リンク

オンプレとクラウドのネットワークの話 | BLOG - DeNA Engineering

IT基盤部エンジニアブログリレー第4回目。こんにちは、IT基盤部ネットワークG torigoeです。オンプレとクラウドのネットワークをどう繋げるのか、クラウド内のネットワークをどうするのか考えた話を書きます。多くの内部サービスを持っていて、オンプレからクラウドに移行を検討しているネットワークエンジニアの人に読んで頂ければと思います。はじまり 2018年ある日、mtgに呼ばれて急に DeNAのインフラ全てをオンプレからパブリッククラウド(しかもマルチ)に変えようと思うがどうよ？と言われました。正直その日まであまりパブリッククラウドサービスを触った事がありませんでしたが、説明された内容には納得できたのでそんな事は噯にも出さず同意し、次の日からオンプレ-クラウド移行の為に必要なネットワークの検討を開始する事になりました。(元々Openstackは触ってました) まずはAWSを色々と触

unarist 2019/08/25

network
aws

リンク

日本準拠法に関する AWS カスタマーアグリーメントの変更: AWS Artifact | Amazon Web Services

Amazon Web Services ブログ日本準拠法に関する AWS カスタマーアグリーメントの変更: AWS Artifact –この記事はAWS セキュリティ・アシュアランス本部の寄稿です– 2016年12月に AWS Artifact のサービスが開始され監査レポート等コンプライアンスに関する重要な情報を提供してきましたが、2017年11月より同サービスにおいて、日本のお客様に向けて「日本準拠法に関する AWS カスタマーアグリーメント変更契約」の手続きが可能な新機能の提供を開始しました。これにより、AWS Artifact を通じて日本準拠法に関する AWS カスタマーアグリーメント変更契約をリアルタイムに締結または終了することが可能となっています。日本準拠法に関する AWS カスタマーアグリーメント変更契約とは、現在お客様がご利用中の AWS アカウントに適用されている、

unarist 2018/09/25

aws

リンク

AWSではてなブログの常時HTTPS配信をバーンとやる話 / The Epic of migration from HTTP to HTTPS on Hatena Blog with AWS

Hatena Engineer Seminar #10 (https://hatena.connpass.com/event/87909/) で発表した資料です。

unarist 2018/05/25

hatena
aws

リンク

秒間数万のログをいい感じにするアーキテクチャ

AWS Summit Tokyo 2016 Developer Conference (2016/06/03)

unarist 2016/06/04

リンク

初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 - Qiita

こんにちは、2015年も終わりですね。昨年よりエンジニアのお仕事をはじめております自称エンジニアの@mochizukikotaroです。お祭り記事ですので、皆様の箸休めの一助にでもなればと思いながら、全力で書きたいと思います。まず感謝当記事は、﹁素人がAWSに手を出し、のんきに過ごして気づいたら、自分のミスで不正利用され$6,000ほどの請求が来ていて﹂一週間ほど食べ物も喉を通らず、AWS様に泣きついた結果、﹁なんとか情け容赦を頂いた﹂という内容です。本文中には多少ふざけた言葉選びが散見されるかもしれませんが、私は全力で AWSさんに感謝をしております。この先、僕と同じような過ちを犯す可哀想な素人エンジニアを、この世から一人でも無くしたい。と切に願っております。最初にお断りしておきますが、当記事から得られる、プログラミングインテリジェンスは1gくらいです。一定レベル以

unarist 2015/12/25

AWSキーのコミットを阻止するスクリプトとか日本語での問い合わせの仕方がトラックバックで寄せられていて優しい

aws

リンク

初めてのAWS Lambda　～AWS Lambdaで始めるイベントドリブンアプリケーション

対象読者 Web系プログラマ AWSに興味のある方必要な環境 AWSアカウント AWS Lambdaとは「AWS Lambda」は、クラウド上でアプリケーションを実行する新たなプラットフォームです。AWS Lambdaを使えば何らかのイベントをトリガーに処理を実行することが可能です。Amazon Simple Storage Service（以下、Amazon S3）のバケットへのファイルのアップロード、Amazon Kinesisのストリームに届いたメッセージ、Amazon DynamoDBにおけるテーブルの更新といったイベントを受けて、事前に用意したコードを自動的に実行することができます。従来であれば、こうしたイベントドリブンなアプリケーションの開発は非常に手間がかかりました。たとえば、変更を検知するためにポーリングし続ける仕組みや、変更を検知したらそれに応じた適切な処理を行う仕

unarist 2015/07/30

リンク

AWS-CloudDesignPattern CDP2.0候補

AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収

unarist 2014/12/26

aws

リンク

[よくわかるクラウドデータベース] Amazon RDS for PostgreSQL検証報告

AWS Black Belt Online Seminarの最新コンテンツ: https://aws.amazon.com/jp/aws-jp-introduction/#new 過去に開催されたオンラインセミナーのコンテンツ一覧: https://aws.amazon.com/jp/aws-jp-introduction/aws-jp-webinar-service-cut/

unarist 2014/10/01

リンク

1年で1台->100台まで増やした話

Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure

unarist 2014/09/28

リンク

microインスタンスはlimitかけると大きくパフォーマンスが向上する（※再追記あり） - アルパカDiary Pro

※2014/07/02　T2インスタンスタイプとの比較を追記しました。 ※2014/03/13　他インスタンスタイプとの比較／m3.mediumの検証を追記しました。こちらの記事の二番煎じです。 cgroupで、お手軽CPU使用率制限なるほど。リソースにLimitかけるとstealを防げるためパフォーマンスも上がるというわけですね。どのくらい変わるのか実験してみました。 cgroup前準備 sudo yum install libcgroup sudo chkconfig cgconfig on sudo service cgconfig start cgroup設定上記参考URLとほぼ同じ設定です。実行時はcpu.cfs_quota_usを変動させて比較してみました。 sudo vi /etc/cgconfig.conf # 以下を追加 group limittest {

unarist 2014/07/06

aws

リンク

T2インスタンス調査結果 - Qiita

先日、新インスタンスタイプとなるT2インスタンスがリリースされましたね！【AWS発表】バースト可能な性能を持つ新しい低コストEC2インスタンスいままで特にお世話になっていた t1.micro/m1.small の後継というべきインスタンスでしょうか。しかし実際に使ってみると、T2インスタンスならではの特徴がいくつかあるようです。これから一番お世話になりそうなT2インスタンスですしもう少し詳細に調査し、その結果をまとめてみました。ベースライン／クレジット／バーストという概念 CPUの性能に関する概念です。 t1.microにもバーストという機能はありましたが T2では実装が大きく異なるようです。要約すると