自分がニッチだと思っているテーマについて発表する「Qiita Engineer Festa 2023〜私しか得しないニッチな技術でLT〜」。ここで株式会社SonicGardenの遠藤氏が登壇。LambdaとFargateを組み合わせた実行環境について話します。 遠藤氏の自己紹介 遠藤大介氏：今日は「AWSのLambdaとPlanetScaleを組み合わせると、超絶スケールするWebアプリを作れちゃうぜ」という話をしていこうと思っています。 最初に自己紹介です。遠藤と申します。SonicGardenという会社で、プログラマーと執行役員をやっています。インフラと機械学習などが好きで、趣味もプログラムで仕事もプログラムな感じの人間なんですが、最近は機械学習周りが盛り上がっているので、そっちもいろいろやっています。 あと、ロードバイクに趣味で乗っているのですが、最近ちょっと乗れていません。それから
AWS、高速起動にこだわった軽量なJavaScriptランタイム「LLRT」（Low Latency Runtime）をオープンソースで公開。AWS Lambdaでの利用にフォーカス
PHPerKaigi 2024〜10年以上動いているレガシーなバッチシステムを Kubernetes（Amazon EKS） に移行する取り組み〜
AWS Lambdaの高速なコンテナロードの仕組み | CyberAgent Developers Blog
CTO統括室の黒崎(@kuro_m88)です。今回はAWS Lambdaの高速なコンテナロードの仕組みについて紹介します。 AWS Lambdaはサーバレスなマネージドサービスであり、難しいことを知らなくてもユーザ(私たち)は簡単にアプリケーションをホストでき、簡単にスケールします。 ユーザから見るとシンプルですが、その裏側では様々な仕組みがあったり最適化が行われたりしています。 マネージドサービスの裏側を必ずしも知る必要はありませんが、仕組みを知っておくとより使いこなせるはずですし、自信を持って技術選定ができるはずです。(そして何より裏側を知ることは楽しい！🤗) 本記事はUSENIX ATC 2023で発表された論文「On-demand Container Loading in AWS Lambda」の内容に基づいて、読んでいて面白かったポイントをまとめています。 On-demand
AWS Lambda 関数が大量のリクエストを処理する場合に 12 倍速くスケールできるようになりました | Amazon Web Services
Amazon Web Services ブログ AWS Lambda 関数が大量のリクエストを処理する場合に 12 倍速くスケールできるようになりました AWS Lambda は、最大 12 倍速くスケールアップできるようになりました。同期的に呼び出される各 Lambda 関数は、すべての関数の合計同時実行数がアカウントの同時実行数の上限に達するまで、10 秒ごとに 1,000 回の同時実行回数でスケールするようになりました。さらに、アカウント内の各関数は、関数の呼び出し方法に関係なく、互いに独立してスケールするようになりました。これらの改善には追加コストはかかりません。また、既存の関数の設定を行う必要もありません。 スケーラブルで高性能なアプリケーションを構築することは、従来のアーキテクチャでは困難な場合があり、ピーク時の需要や予測不可能なトラフィックに対応するために、コンピューティング
AWS Lambda の go 1.x サポートが終了するらしいので、カスタムランタイムに移行した話 - GS2 Blog
早速ですが、不穏なメールが届きました。 Amazon Linux AMI のメンテナンスサポートが 2023 年 12 月 31 日に終了するのに合わせて、AWS Lambda での Go 1.x ランタイムのサポートを終了します [1]。 Lambda は、provided.al2 ランタイムを使用して Go プログラミング言語を引き続きサポートします。 provided.al2 ランタイムを使用すると、AWS Graviton2 プロセッサのサポートや、より小さなデプロイパッケージとより高速な関数呼び出しパスによる効率的な実装など、go1.x ランタイムに比べていくつかの利点があります。 詳細については、ブログ記事 [2] を参照してください。 GS2 が実行基盤に使用している AWS Lambda の go 1.x ランタイムがサポート終了になるようです。 provided.al2
AWS Lambdaのメモリ使用率と処理速度
AWS Lambda Function URLs（関数URL）がCloudfrontのOACに対応したので試す - Qiita
はじめに AWS LambdaのFunction URLs（関数URL）は、Lambda単体でHTTPSのURLを発行し、HTTPリクエストをトリガーにLambdaを実行出来るようになる、非常に便利な機能です。 API Gatewayと統合せずともLambdaのみでWebAPIを構築出来るようになり、プロトタイピングやマイクロサービスに有用です。 関数URLの制限 ところで、関数URLの実行の認可は、IAMを用いた方法しかありませんでした（IAMロールベースの認可か、認可なししか無かった）。 Cloudfrontをリバースプロキシ的に前段に配置し、関数URLと繋ぐことで、ドメインを当てたりキャッシュを活用したり、便利な訳ですが、その際に上記が問題となります。というのは、CloudfrontからIAMベースのリクエストを行うには、Lambda@Edgeを利用するしかありませんでした（オリジン
AWS Lambda 関数の実行の仕組みを知ろう ! - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
builders.flash 読者の皆さん、こんにちは ! AWS のシニアテクニカルトレーナー 野邊 (のべ) です。 今回は AWS Lambda 関数の実行の仕組みをテーマに、主に初学者の方向けに解説していきます ! 私は初学者の方向けに AWS Lambda を解説する時、後述の目次の順番で説明するようにしています。目次のうち、1 から 3 は、AWS Lambda の概要と基本のお話ですので、そのあたりはすでに知ってるよ ! という方は、4 から読んで頂いても大丈夫です ! なお、今回の記事のタイトルの中で「AWS Lambda 関数」という言葉を使ってますが、記事の本文では用語として次のように使っていきますので、あらかじめ確認しておいて下さい！ AWS Lambda : サーバーを意識せずにコードを実行できる AWS のサーバーレスコンピューティングサービス Lambda 関数
AWS Lambdaデプロイツール lambroll v1をリリースしました - 酒日記 はてな支店
AWS Lambda用のデプロイツール、lambroll の v1.0 を2024年2月10日にリリースしたのでお知らせです。 github.com リリースして早速ですが v1.0.0 には一部のフラグ名がv0と異なるというバグがあるので、v1.0.1 以降をご利用ください。 v0.x と v1 の変更点 リポジトリ にまとめてありますが、簡単に解説します。 非互換変更 lambroll archive zipのバイナリを、標準出力ではなくファイルに書き出します デフォルトのファイル名 function.zip(--dest オプションで指定可能) に書き出すようになりました。 --dest - を指定することで、v0と同様に標準出力に書き出すことができます。 lambroll diff コマンドは、常に短縮型の unified 形式で出力します --unified オプションは廃止され
[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ AWS Lambdaのロギング設定を制御できるようになったというアップデートがあったので、今回試してみます！ 何が嬉しいか 今までCloudWatch Logsに対するLambdaのロギング設定は、以下がデフォルトで固定され、変更できないようになっていました。 ログ形式：Text ログレベル：なし ロググループ名：/aws/lambda/<関数名> ※なおログ形式については、今までもPowertoolsを使用すればJSONに変更可能でした。 上記3点について、今回のアップデートによりLambdaのコンソールまたはAPIを通じて柔軟に設定できるようになりました！ 試してみる それではどのようにログ設定を変更できるようになったか試してみましょう。 公式では以下のブログで使い方が紹介されています。 上記のブログはLambdaのランタイム
![[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f047ea142eff06ac03d91ff00ec5d6bf61e4284/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
3,000枚の工事写真を Excel に！AWS Lambda の非同期実行で作る写真台帳 Excel 出力機能 - ANDPAD Tech Blog
Google Cloud Run と AWS Lambda のコールドスタート時間を言語別に観察してみる - Qiita
コンテナをリクエスト処理時間ベースの料金体系で実行できるサーバレス環境としては、Google の Cloud Run（2019年11月GA）と AWS Lambda（2020年12月にコンテナに対応）が特に有名でしょう。 これらの環境は、一度起動したコンテナインスタンスをしばらく生かしておき、その後のリクエストに使いまわします。しかし、生きているインスタンスが足りない場合は新たなコンテナの起動から始めるいわゆる「コールドスタート」となり、応答のオーバーヘッドが大きく増加します。用途によっては、このコールドスタートにかかる時間が問題になります。 Cloud Run と Lambda でのコールドスタートの様子を観察するため、いくつかの言語で "Hello, World!" を返すだけのWebアプリコンテナを作り、コールドスタートの時間を「雑に」観察してみました。 注意: コストや性能は考慮し
AWS Lambda Under the Hood
Transcript Danilov: We'll talk about AWS Lambda, how it's built, how it works, and why it's so cool. My name is Mike Danilov. I'm a Senior Principal Engineer at AWS Serverless. A decade ago, I joined EC2 networking team, and it was a fantastic ride. Then, five years back, I heard about Lambda. I really liked the simplicity of the idea. We run your code in the cloud, no servers needed, so I joined
[初心者向け]AWS LambdaでOpenAI API のFunction Callingを試してみた | DevelopersIO
![[初心者向け]AWS LambdaでOpenAI API のFunction Callingを試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c1e7d69a330d74b919a52ae9d3a24612acf3ace/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Feyecatch_openai_1200x630.png)
[アップデート] AWS CodeBuild の実行環境に AWS Lambda が選択出来るようになりました | DevelopersIO
いわさです。 数日前にちょっと話題になったアップデートですが、AWS CodeBuild が AWS Lambda をサポートしました。 どういうことかというと、CodeBuild は実行されると何らかのコンピューティングリソースを起動し、buildspec.yml という構成ファイルに記述された内容に従ってコマンドなどの実行を行う仕組みとなっています。 この実行環境はコンテナイメージであり、従来は EC2 上で実行されていました。 今回のアップデートでこの実行基盤に新たに AWS Lambda を選択出来るようになりました。 これによって、起動が早く柔軟にスケーリングするという Lambda の特性を活かして、起動に時間がかかったりビルドキューで待機が発生する問題を解決することが出来ます。 一方で、Lambda を使った場合にはいくつかの制限事項があります。いくつかというか結構あります。
![[アップデート] AWS CodeBuild の実行環境に AWS Lambda が選択出来るようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f88b2f90b4bca3bfb19789054ed8f18eb737db8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-codebuild.png)
Understanding AWS Lambda’s invoke throttling limits | Amazon Web Services
AWS Compute Blog Understanding AWS Lambda’s invoke throttling limits This post is written by Archana Srikanta, Principal Engineer, AWS Lambda. When you call AWS Lambda’s Invoke API, a series of throttle limits are evaluated to decide if your call is let through or throttled with a 429 “Too Many Requests” exception. This blog post explains the most common invoke throttle limits and the relationship
【AWS】AWS Lambda + ChatGPT でS3オブジェクトの自動タグ付けを実現する (Terraformコード付き) - APC 技術ブログ
はじめに こんにちは、クラウド事業部の葛城です。 今回は、AWS Lambdaを活用してS3にオブジェクトを配置した際に、ChatGPTを活用して自動で内容を分析してタグ付けするシステムを構築しました。 AWS LambdaとAmazon S3を初めて触る方や、コードを書いて少し格好良くシステムを構築したいAWS初学者向けの内容になります。 GitHubでコードを公開しています。 github.com こだわったポイントとしては、ChatGPTのAPIを試してみたかったので、s3のタグ生成の機能として活用しました。 また、AWSのインフラストラクチャをTerraformを使ってコード化したので、IaCにする際のTipsやAWSの IaCに興味ある方の参考になればと思います。 目次 はじめに 目次 1. AWSサービスの概要 AWS Lambda Amazon S3 2. 自動タグ付けアプリ
AWS Lambda でOpenAI の Whisper API を 認識精度の改善も含めて試してみた | DevelopersIO
Marc Brooker, Mike Danilov, Chris Greenwood, and Phil Piwonka, Amazon Web Services Awarded Best Paper! AWS Lambda is a serverless event-driven compute service, part of a category of cloud compute offerings sometimes called Function-as-a-service (FaaS). When we first released AWS Lambda, functions were limited to 250MB of code and dependencies, packaged as a simple compressed archive. In 2020, we r
AWS Lambda コンソールでメトリクス、ログ、トレースが単一のペインで表示可能になりました | DevelopersIO
こんにちは、CX 事業本部 Delivery 部の若槻です。 最近のアップデートにより、AWS Lambda コンソールからメトリクス、ログ、トレースが単一のペインで表示可能になりました。 AWS Lambda のマネジメントコンソールでは、Lambda 関数の実行状況を CloudWatch や X-Ray のコンソールに移動することなく確認できる画面が用意されています。 アップデート前はその画面は次のようにメトリクス、ログ、トレースのがタブで分かれていたため、それらを横断的に確認したい場合にペインを切り替える必要がありました。 Monitoring AWS Lambda errors using Amazon CloudWatch | AWS Cloud Operations & Migrations Blog からの引用 今回のアップデートにより、AWS Lambda コンソールでメ
AWS LambdaからAmazon Bedrockを呼び出す際、S3に保存したプロンプトファイルを参照させる | DevelopersIO
AWS LambdaからAmazon Bedrockを呼び出す際、S3に保存したプロンプトファイルを参照させる はじめに AWS LambdaからAmazon Bedrockを呼び出す際、事前にS3バケットに保存したプロンプトファイルを参照させる方法をまとめました。 プロンプト部分のみをLambdaのコードから切り離すことで、コードの修正することなく、生成AIへのプロンプトを変更することができます。 利用想定シーンとしては、開発者と運用者が異なる場合に、運用者がプロンプトをチューニングしたいケースです。 以下に、構成の概要を示します。 Bedrock 東京リージョンで、利用したいモデルを有効化します。今回は、Claudeが利用できるよう設定しました。 S3バケット S3バケットに、prompt.txtというファイル名でプロンプトを記載しアップロードします。 プロンプト内容は、以下の通りです
“The Five-Factor Serverless“ AWS Lambda の9年を振り返りつつ、これからを考える。 - Qiita
CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた | DevelopersIO
CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた はじめに Amazon S3バケットにアップロードしたCSVデータをAmazon DynamoDBテーブルに自動的に書き込むAWS Lambdaの作成方法を紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしAmazon DynamoDBテーブルにデータを書き込む方法について紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしDynamoDBにデータを書き込んでみた 構成は以下の通りです。 本構成では、AWSマネジメントコンソールからS3バケットにCSVファイルをアップロードすると、S3のPUTイベントをトリガーとしてLambda関数が起動します。Lambda関数は、CS
AWS Lambda warms up your functions, such that 50%-85% of Lambda Sandbox initializations don't increase latency for users. In this article we'll define Proactive Initialization, observe its frequency, and help you identify invocations where your cold starts weren't really that cold. July 13, 2023 This post is both longer and more popular than I anticipated, so I’ve decided to add a quick summary: T
AWS Lambdaは、あらかじめ登録した関数を負荷に応じて同時に並列実行することでスケーラブルな処理を実現する仕組みを備えています。 例えばニュースサイトやオンラインストアなどで突発的なトラフィックが発生したとしても、AWS Lambdaを用いて構築することでオンデマンドで迅速にスケール可能となっています。 AWSは、このAWS Lambdaのスケール速度がこれまでよりも最大で12倍速になったと発表しました。 具体的な説明を「AWS Lambda 関数が大量のリクエストを処理する場合に 12 倍速くスケールできるようになりました 」から引用します。 まず、従来のスケール速度は1アカウントあたり最初の1分で500から300程度、その後毎分500ずつとなっていました。 最初の 1 分で 500～3,000 回の同時実行 (リージョンによって異なります) をアカウントレベルでスケールし、その後
AWS、高速起動にこだわった軽量なJavaScriptランタイム「LLRT」をオープンソースで公開 AWS Lambdaでの利用にフォーカス
AWS Lambda now supports creating serverless applications using Ruby 3.3. Developers can use Ruby 3.3 as both a managed runtime and a container base image, and AWS will automatically apply updates to the managed runtime and base image as they become available. The Lambda Ruby 3.3 runtime is built on the new Amazon Linux 2023 runtime, which is based on the AL2023 minimal container image. This provid
Amazon Connectの[AWS Lambda 関数の呼び出し]ブロックがエラーになったり正常と判定される原因と解決方法 | DevelopersIO
![Amazon Connectの[AWS Lambda 関数の呼び出し]ブロックがエラーになったり正常と判定される原因と解決方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e1cd7e90f909b2d75241bda871585cbe620475c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-connect.png)
2023/12/31 より Go1.x ランタイムを利用している AWS Lambda Function が非推奨になる件の影響範囲や取れる対応 - stefafafan の fa は3つです
社内向けに周知を書いてたけど、そのままパブリックにも書けばいいかとおもって書きます。関連エントリ: aws.amazon.com gs2.hatenablog.com 概要 AWS Lambda Function を Go1.x Runtime で動かしている場合は、2023/12/31に非推奨になるので対応しましょう 厳密には Deprecation Policy の Phase 1 の状態 になります。セキュリティパッチなどのアップデートがこなくなり、新規作成もできなくなります (既存のFunction はそのまま利用可能） なお、Phase 2の「既存の関数の更新もできなくなる」のは 2024/1/30 となります（こちらはAWSより届いたメールに書いてありました）。 影響の有無の確認 以下のいずれかの状態のLambda Functionが対象となります。 .zip file の形式
Amazon BedrockのClaudeとAmazon Kendra、AWS Lambdaを利用し、RAGを実装してみた | DevelopersIO
Amazon ConnectからAWS Lambdaを呼び出し、SMS送信してみた | DevelopersIO
はじめに Amazon ConnectからAWS Lambdaを呼出し、SMS送信する方法を紹介します。 発信元の電話番号がSMS送信可能な番号であれば送信し、その番号がSMS送信できない場合は、手動でSMS送信先の電話番号を入力してもらう仕組みを実装しました。 前提条件 Amazon SNS で SMS送信できること。必要に応じてサンドボックス解除の申請や使用限度額の引き上げを行ってください。 https://dev.classmethod.jp/articles/amazon-sns-sms-sandbox/ Amazon Connectインスタンスを作成済みであること Lambda 関数作成 SMS送信用のLambda 関数を作成します。 SMS送信を許可するIAMポリシーを作成し、Lambda関数のIAMロールに適用します。 ポリシーは以下の通りです。 { "Version": "
AWS LambdaがRuby 3.3をサポート開始。新しいAmazon Linux 2023ランタイム上で提供
Amazon Web Services（AWS）は、サーバレス基盤として提供しているAWS LambdaでRuby 3.3のサポートを開始したと発表しました。 Ruby 3.3は昨年（2023年）12月にリリースされた最新版のRubyです。パフォーマンスとメモリ使用量を大幅に改善したYJITコンパイラを搭載し、M個のRubyスレッドをN個のOSのネイティブスレッドで管理することでスレッドの生成管理コストを抑えることができるM:Nスレッドスケジューラなどの新機能が搭載されています。 参考：Ruby 3.3正式リリース。YJITコンパイラの大幅な性能向上、RubyのスレッドスケジューラとしてM:Nスレッドスケジューラ導入など新機能 AWS LambdaのRuby 3.3ランタイムは、AL2023 minimal container imageをベースにした新しいAmazon Linux 202
OpenAI DevDayで発表されたJSON形式で返すことが保証される「JSONモード」を、AWS Lambdaを利用して試してみた | DevelopersIO
OpenAI DevDayで発表されたJSON形式で返すことが保証される「JSONモード」を、AWS Lambdaを利用して試してみた はじめに OpenAI DevDayで発表されたJSONモードをAWS Lambdaを利用して試してみました。 OpenAIの開発者向けカンファレンスのDevDayで様々なアップデートがありました。 弊社ブログでも発表内容がまとめられています。 アップデートのうち、JSON形式でレスポンスを返すことが保証されたJSONモードがサポートされましたので、今回は、新機能をAWS Lambdaを利用して試してみます。 JSONモードに関するドキュメントは、以下のみでコードの例がなかったため、コードも含めて紹介します。 利用するにあたり注意点 モデルのうちgpt-4-1106-previewとgpt-3.5-turbo-1106のみでJSONモードが利用可能です。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Lambda×Fargate×PlanetScaleを組み合わせれば、超絶スケールするWebアプリを作れる 約2ドルから作れる“ニッチで俺得な”環境の布教
Dockerで始めるAWS Lambda開発
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
AWS Lambdaは1秒間にいくつまで数えられるか-メモリ毎の性能調査
AWS Lambda でも Rails で Web 開発 - エムスリーテックブログ
AWS Lambdaの耐障害性を考える - Qiita
ポストモーテム: AWS Lambda内のリクエストからHTTPヘッダが消えた日
On-demand Container Loading in AWS Lambda | USENIX
AWS Lambda FunctionをScala.jsで書いて爆速Scalaを満喫しよう - Lambdaカクテル
Understanding AWS Lambda Proactive Initialization
AWS Lambdaのスケール速度が最大12倍速に。10秒ごとに1000回の同時実行回数でスケール
AWS Lambda adds support for Ruby 3.3