[B! ECS] kzm1760のブックマーク

バッチシステムをクラウドネイティブにするために考えたこと

Cloud Native Days Tokyo 2022 Session: https://event.cloudnativedays.jp/cndt2022/talks/1518

kzm1760 2022/11/22

ECSタスクのリトライ処理をStepFunctionsに持たせるのはありかも。

AWS
ECS

リンク

Amazon ECS でのコンテナデプロイの高速化この記事は同僚の Nathan Peck (@nathanpeck)が書いた記事 “Speeding up Amazon ECS container deployments” を翻訳し、加筆・修正したものです. 元記事を ECS ユーザに紹介する機会が何回かあったので、せっかくなので翻訳することにしました. コンテナのオーケストレーションは非常に複雑な問題の一つです. アプリケーションコンテナのデプロイのために、相互にやり取りを行う複数の異なるコンポーネントが存在します. あなたのアプリケーションを実行したオーケストレータは、その実行されたアプリケーションが Web トラフィックを受け取る用意ができているかどうかについて判断する必要があります. その後そのアプリケーションはスケールダウンされたり、あるいは新しいバージョンのアプリケーション

kzm1760 2021/04/20

初めてECS Fargateにトライした時に試行錯誤した時のパラメータが、割と間違っていなかったのがわかって少し安心した。

ecs

リンク

グループ会社のインフラをECS/Fargateに移行して振り返る | ランサーズ（Lancers）エンジニアブログ

皆さん元気ですか！？SREチームの@adachin0817です。去年から行っていた移行プロジェクトで、グループ会社である、シクロマーケティング株式会社の﹁ミギウデ﹂をさくらVPSからAWSへ移行しました。今回、移行背景やECS/Fargateでのコンテナ運用について簡単にご紹介と振り返りを行ってみたいと思います。なぜAWSへ移行するのか AWSへ移行すると冗長性の担保などが挙げられますが、一番は開発環境やインフラなど、すべてランサーズに統一させるということが第一の目的です。それに伴い、ミギウデ自体のサービスがシンプルなインフラ構成ということもあり、インフラ運用の手間をなくしたいということから、ECS/Fargateで初の外部サービスとしてコンテナ運用にチャレンジしてみようとなりました。目的とコンテナ化にするメリット・内部統制対応・S3、RDSを利用したバックアップ・CloudWa

kzm1760 2020/05/11

あだちんが頑張ってくれました。

リンク

【待望】コンテナデバッグが捗る！ECS-optimized AMIにSSMエージェントがプリインストールされるようになりました | DevelopersIO

︻待望︼コンテナデバッグが捗る！ECS-optimized AMIにSSMエージェントがプリインストールされるようになりました﹁やっぱり…タスクが変な動きしてる時、Dockerコマンド使いたくなるやん。それが人間ってもんやん…﹂ ECS︵on EC2︶の環境で、コンテナが妙な起動をしているとき、そのホストインスタンスにログインしてDockerコマンドで原因追求することを日常のオペレーションとして実施されている現場多いと思います。Fargateではできない、docker execを利用した調査、捗りますよね。そんな皆様に待望のアップデートです。 AWS Systems Manager Agent を Amazon ECS 用に最適化された Linux 2 AMI にプリインストール SSMエージェントがプリインストールされるということは、セッションマネージャーが使えるということです。という

kzm1760 2020/02/17

Fargateでもやりたい。

リンク

CircleCIがAWSやGoogle Cloud、Kubernetesなどへ自動デプロイするための共有パッケージ「Orb」を公開。クラウドへの自動デプロイが容易に

CircleCIがAWSやGoogle Cloud、Kubernetesなどへ自動デプロイするための共有パッケージ﹁Orb﹂を公開。クラウドへの自動デプロイが容易にビルドやテストのプロセスを自動化する、いわゆる継続的インテグレーション︵Continuous Integration︶の機能をサービスとして提供するCircle CIには、﹁Orb﹂と呼ばれる、設定ファイルなどを含むCircleCI向けパッケージの共有機能があります。 Orbは、CircleCIのWebサイト上の公開レジストリ的なサービスによってまざまな設定が公開されています。例えば、CircleCIにAWSコマンドラインツールを統合する設定、ソースコードをビルドしてDockerイメージを生成、それをDockerレジストリに登録する操作を自動化する設定などがあります。こうしたOrbを利用することで、CircleCIでさまざ

kzm1760 2020/01/30

ecs-deployを使わなくてもよくなりそう。

リンク

Digdag の Plugin をたくさん作ったので紹介するよ - Gunosy Tech Blog

こちらは Gunosy Advent Calendar 2018、7日目の記事です。なお、昨日の記事は @yutanim さんのRxSwiftにおける孫からの祖父母孝行でした。qiita.com はじめにこんにちは、広告技術部のキヴィタスポ(人工知能) (@Civitaspo) / Twitter です。 Gunosy に入社してから早いもので1年が経ちました。昨年の Gunosy Advent Calendar では僕は読む専門だったのですが、﹃Gunosyのパーソナライズを支える技術 -ワークフロー編-﹄を読んで非常に感銘を受けたのを覚えています。 tech.gunosy.io ここではそのとき感銘を受けた言葉を紹介しておきます。ワークフローは、いわばシステム上における兵站といってもいいでしょう。﹁戦争のプロは兵站を語り、戦争の素人は戦略を語る﹂という名言もあるくらいで

kzm1760 2019/12/19

digdag
ecs

リンク

EC2上のPythonバッチをECSのDigdagに置き換えた話 - Gunosy Tech Blog

広告技術部のUT@mocyutoです。ついに桜が開花し、やっと春の訪れを感じはじめましたね。外で気持ちよく飲みたい季節になってきました。はじめにシステム概要なぜ移行するのか Celeryをやめたい LevelDBをやめたい移行計画アーキテクチャ ECS Athena CI/CDフロー Pluginか自前実装か移行後よかったことまとめはじめに今回はEC2上のPythonのバッチをECSのDigdagに置き換えた話をします。システム概要今回の移行対象は広告配信に関するバッチ処理を行うシステムでした。役割としては以下のようなものがあります。広告の配信候補を作成広告の枠情報を作成クリックなどのイベントの集計なぜ移行するのか大きく分けて以下の2つの理由がありました。 Celeryをやめたい LevelDBをやめたい Celeryをやめたい今まではバッチにはP

kzm1760 2019/12/19

リンク

Amazon ECSを安定運用するためにやっていること　コンテナインスタンス、ログ、モニタリングにおける工夫

2018年11月28日、クックパッド株式会社が主催するイベント﹁Cookpad TechKitchen﹂が開催されました。第20回となる今回のテーマは﹁クックパッドのマイクロサービスプラットフォーム現状﹂。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション﹁Amazon ECS の安定運用のために﹂に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用鈴木康平氏‥﹁Amazon ECSの安定運用﹂というタイトルで発表したいと思います。今回のアウトラインとしては、﹁ECSをどう使うか﹂みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。内容としては、

kzm1760 2019/02/13

リンク

GitHub - silinternational/ecs-deploy: Simple shell script for initiating blue-green deployments on Amazon EC2 Container Service (ECS)

One of the following is required: -n | --service-name Name of service to deploy -d | --task-definition Name of task definition to deploy Required arguments: -k | --aws-access-key AWS Access Key ID. May also be set as environment variable AWS_ACCESS_KEY_ID -s | --aws-secret-key AWS Secret Access Key. May also be set as environment variable AWS_SECRET_ACCESS_KEY -r | --region AWS Region Name. May al

kzm1760 2018/12/26

リンク

AWS Fargateを本番運用した所感 - コネヒト開発者ブログ

こんにちは。インフラエンジニアの永井(shnagai)です。今回は、Fargateを本番投入し1ヶ月強が過ぎたので、運用する中で気付いた点について書こうと思います。以前書いた、Fargateに関する調査のまとめ記事はこちら。 tech.connehito.com 内容はざっくり下記3項目です。いきなりFargateはハードルが高め良かった点コンテナのリソースキャパシティを簡単に変更出来るオートスケーリングもシンプルに組める安定運用つらい点タスクの起動速度がEC2バックエンドと比べるとやはり遅い料金面いきなりFargateはハードルが高め Fargate導入を通して一番感じたのは、新規にコンテナ化するアプリケーションをECSで動かす場合、EC2バックエンドで試験をパス出来る状態まで持っていった後に、最後にFargateで動かすパターンがよさそうということです。今回のF

kzm1760 2018/11/22

いつも参考にさせていただいてます。

リンク

Amazon ECS ScheduledTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ

こんにちは。インフラエンジニアの永井(shnagai)です。コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。他の方法との比較やどのように実現しているのかについて紹介したいと思います。今回対象とするバッチの種類今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。　※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。実行方式の選定上記要件のバッチを実現する基

kzm1760 2018/11/09

リンク

TerraformでECSを動的ポートマッピングに - Carpe Diem

概要以前ECSの記事を幾つか書きましたが、 TerraformでECS環境の構築 - Carpe Diem TerraformでECS環境の構築【オートスケール編】 - Carpe Diem 当時のECSは１インスタンス１コンテナにしないとポートが競合して同じ種類のコンテナを載せることはできませんでした。しかし今ではALBが導入され、動的ポートマッピングといってコンテナ側のポートは80で、ホスト側にマッピングする際は動的に変えてよろしくやってくれる。ALBはその動的なポートに紐づくという機能が付いています。これによって１インスタンスに同じ種類のコンテナがいくつもたてられるようになりました。環境 terraform 0.11.0 terraform-provider-aws 1.3.1 成果物今回のコードはこちら github.com コードインスタンスの設定 Auto Scal

kzm1760 2018/11/06

リンク

社内PCでホスティングされていたRedashをFargateに移行してみた - ZOZO Technologies TECH BLOG

こんにちは、最近気になっている哺乳類はオリンギートな、開発部の塩崎です。私の所属しているMarketingAutomationチームではRealtimeMarketingシステムの開発運用を行っております。このシステムはZOZOTOWNのユーザーに対してメールやLINEなどのコミュニケーションチャンネルを使い情報の配信を行うものです。メルマガの配信数や開封数などの数値は自動的に集計され、BIツールであるRedashによってモニタリングされています。このRedashは社内PCによってホスティングされていましたが、運用面で辛い部分が多々あったためパブリッククラウドに移行しました。移行先のクラウドはawsを選択し、RedashをホスティングするためのサービスはECS/Fargateを選択しました。この記事ではawsに構築した環境や、移行作業などを紹介します。移行前のRedash 移

kzm1760 2018/10/25

これはFargate導入事例としてはわかりやすくて良い事例。参考になる。

リンク

AmazonECS / Fargate 本番運用のための構築とデプロイ方法まとめ

Amazon ECS︵以下ECS︶とFargateを用いて、今までEC2で運用されていたサービスをコンテナ化してECS上で稼働させるプロジェクトをしました。特に、Fargateは2018年7月3日にTokyoリージョンで使えるようになったばかりなので、情報がまだまだ少なく手探りの状況でした。 Posted On: Jul 3, 2018 AWS Fargate is now available in Asia Pacific (Tokyo) region. https://aws.amazon.com/about-aws/whats-new/2018/07/aws-fargate-now-available-in-tokyo-region/ ECS/Fargateで実現したアーキテクチャ・デプロイ方法の全容とその実装方法を記していきます。以下のスライドにもまとめているのでぜひご覧ください

kzm1760 2018/10/22

リンク

CodePipeline/CodeBuild/ECR/ECS/Fargateのコンテナデプロイ基盤を構築してみました - LCL Engineers' Blog

モバイルアプリエンジニアの山下︵@yamshta︶です。今回は、AWSの以下のサービスを用いてコンテナデプロイ基盤の構築を試してみました。 CodePipeline CodeBuild ECR ECS Fargate AWSのドキュメントは丁寧で情報も豊富ですが、サービス毎に手順が書かれているため一連の流れをまとめました。CLIでの操作のみで手順を進めています。なぜアプリエンジニアがデプロイ基盤を構築するのか疑問に思った方もいらっしゃると思うので手短に書かせていただきます。 LCLのエンジニアチームはスペシャリスト集団というよりはゼネラリスト集団に近く、特定の技術に縛られない文化とそれを推奨する環境になっています。そのため、メインに扱う技術力も伸ばしながらも別の技術を習得することができます。今回の経緯ですが、私個人としてはインフラには興味がありませんでした。しかし、Dockerは環

kzm1760 2018/10/13

リンク

「コンテナジャーニー」〜明日から速攻始めるAWSでのコンテナ運用〜 #cmdevio2018 ｜ DevelopersIO

アプリケーションのコンテナ化には様々なメリットがありますが、実際に本番環境に導入するには従来のアプリケーションの考え方とは違う部分もあり、簡単にはいきません。その辛さを乗り越えて﹁もっと多くの人にコンテナを活用してもらいたい﹂という想いを、このセッションに込めました。﹁コンテナ導入ってどこからやったらいいんやろう…﹂ Amazon ECSがリリースされてから、早4年。Docker自体の進歩が目覚ましく、周辺のオーケストレーションツールや関連するOSSなども目を見張るような勢いで進化しています。以前は開発環境での利用が主流だったコンテナも、今では本番環境での採用事例も増えてきました。さらに、Fargateの東京リージョンリリースやEKSの一般公開など、話題には事欠きません。アプリケーションのコンテナ化には様々なメリットがありますが、実際に本番環境に導入するには従来のアプリケーションの考え

kzm1760 2018/10/09

Fargateについてとてもわかり易くまとめられている

リンク

AWS FargateとDocker Composeで簡単分散RSpec | GREE Engineering

AWS Fargate早く東京に来てくれという願いをこめて、東京で1つでも事例を増やそうと記事を書いていたら公開する前にAWS Fargateが東京に来ることが先日発表されました！めでたいです。アリネ事業部の平田です。今日はARINEで使っていく(かもしれない) AWS Fargate を使ったRSpecの実行環境の話と、Docker Compose使っているならFargateいいかもしれませんよ、という話をします。背景アリネ事業部では、なりたい自分がきっと見つかる美容メディア ARINE を運用しています。 ARINEのサーバサイドはRubyで書かれており、ウェブアプリケーションフレームワークはRubyonRailsを採用し、テストにはRSpecを使っています。テストは徐々に増えており現在テストが1000件ほどで、テストにかかる時間も徐々に長くなり、完走するのに10分以上かか

kzm1760 2018/10/06

リンク

コンテナデプロイ基盤の検証 - Hatena Developer Blog

はじめにはてなサマーインターン2018の大規模システム開発コースの成果報告をします。今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。他にも、Micro

kzm1760 2018/09/26

リンク

CircleCiのWorkflowでDeployするようにした話 | スペースマーケットブログ

フロントエンドエンジニアの小林です。今日はスペースマーケットのフロントエンド環境のdeploy基盤をご紹介します。背景スペースマーケットのフロントエンドアプリケーションはNode.jsで書かれており、ECS上で動いてします。ここ最近はSwiftやkotlinを書いていたアプリエンジニアがメインでフロントエンドのコードを書くようになりました。 deployはdocker image bulidサーバに入って下記コマンドを実行する方式でした。 1. 最新コードの取得 2. docker image build 3. ECRにdocker imageをpush 4. ecs-deployを使ってECSを更新してECSに反映する方式でした。課題アプリエンジニアにサーバにsshしてdeployしてもらおうと思っていたのですが、サーバの知識やdeployの知識など、自分の中にしかない属人化し

kzm1760 2018/09/25

リンク

DELISH KITCHENをECS移行した話(前編) | エンジニアブログ

挨拶エブリーの内原です。DELISH KITCHENのサーバサイドを担当していて、APIサーバの開発と運用、プッシュ通知まわりなどの業務を行っています。簡単に自分のバックグラウンドを紹介しますと、古くは某パソコン通信サービスの開発、その後ヤフーで社内プラットフォームの開発、今は無き頓智ドットでセカイカメラというサービスの開発、などをしていました。その後縁あってエブリーに入社しDELISH KITCHENの開発を担当することになりました。今日はそういった業務の中から、インフラに関連する内容をお話しようと思います。Amazon Elastic Container Service(ECS)を用いた運用です。みなさんの参考になれば幸いです。最近 AWS Fargateが発表されたのでそれも絡めたお話ができればよかったのですが、この対応をしたのは数ヶ月前のことなのでご容赦を。以前の構成につ

kzm1760 2018/09/25

リンク

はてなブックマーク

タグ

関連タグで絞り込む (26)

ECSに関するkzm1760のブックマーク (25)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス