[B! aws][batch] lizyのブックマーク

EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers

概要ソーシャル経済メディア﹁NewsPicks﹂SREチームの中川です。皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。対応前の基盤構成同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。10年モノのサービスのインフラを漸進的

lizy 2023/12/22

リンク

AWSがAWS Fargateのバッチサポートを導入

Spring BootによるAPIバックエンド構築実践ガイド第2版何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

lizy 2021/03/09

リンク

Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークスエンジニアブログ

はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。目次目次経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る現行システムで発生している問題点の解消構成 FargateのトリガーとしてRundeckを採用理由1‥ バッチ実行が行われる場所でログを見たかった理由2‥ ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携についてデプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について移行後の総括よかった点悪かった

lizy 2020/07/21

リンク

広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16

Zucks inc. (VOYAGE GROUP inc.) https://serverless.connpass.com/event/165352/ https://youtu.be/dSoIQhobDb8?t=8021

lizy 2020/02/28

リンク

AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service

AWS DevDay Tokyo 2019での発表資料です

lizy 2019/10/06

初回pull時間が気になる、fargateだと毎回時間がかかるのかな

リンク

新卒１年目がバッチサーバーにECSを使ってDockerを導入した話 | feedforce Story

こんにちは！株式会社フィードフォース新卒エンジニアの@kielzeです。最近は会社から支給されたMacBookProのTouchBarにsushiを流したりしています。フィードフォースには新しい技術に積極的に挑戦できるような環境があります。そして、挑戦した結果がよいものであれば、本番環境でもガンガン使われます。若手も新卒も関係無く、全てのエンジニアがその挑戦権を持っています。今回は、先輩エンジニアである@tsubさんが、当時新卒1年目で社内で使われているバッチサーバーのDocker化に挑戦した話をしようと思います。ちなみにtsubさんはとても知識が豊富で何を聞いても答えてくれるので、とても頼もしい先輩です！ Dockerを導入した経緯フィードフォースでは、データフィードマネージメントサービス﹁DF PLUS﹂を提供しています。このサービスの裏側では、お客様から頂いた商品データなど

lizy 2017/04/18

リンク

AWS Batch – AWSでバッチ処理ジョブを実行する | Amazon Web Services

Amazon Web Services ブログ AWS Batch – AWSでバッチ処理ジョブを実行する私は1978年秋に大学に入学しました。モンゴメリー・カレッジのコンピュータ・サイエンス部門は、強力な︵当時の︶IBM 370/168メインフレームを中心に構築されました。 Keypunchマシンを使用してカードデッキを準備する方法、実際のコードの前にジョブの名前と優先順位を設定し、FORTRAN、COBOL、またはPL / Iコンパイラを呼び出す暗黙のジョブ制御言語︵JCL︶。デッキを提出ウィンドウに持ってきて、ジョブIDと引き換えにオペレーターに渡してから、数時間後に戻って印刷出力とカードデッキを回収します。私はその印刷物を慎重に研究しましたが、仕事に就いて数時間を待ってから、実際の稼動時間はほんの数秒であったことに気付いていました。仲間の学生と私がすぐに学んだように、学校のIT

lizy 2016/12/02

リンク

はてなブックマーク

タグ

関連タグで絞り込む (9)

awsとbatchに関するlizyのブックマーク (7)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス