lambdaに関するtasukuchanのブックマーク (4)
-
結論 先人によって既に作られてないか、いったん確認してみましょう。keithrozario/Klayers 使い方 なぜかAWS公式でLayerが提供されていないライブラリ、pandasを例として使います。 (Numpy + Scipyがあるなら、pandasもあってくれていい気がしています) 0. 前準備 AWS Lambdaにアクセスして、[関数の作成]を押し、適当な名前の関数を作ります。 ﹁ランタイム﹂はPython3.8を選びます。﹁アクセス権限﹂はノータッチでOKです。 1. pandasをインポートし、テストを作成 import pandasを追加し、[保存]を押します。 [テスト]を押し、﹁イベント名﹂に適当な名前を入れます。 下のJSONは特にいじらなくてOKです。 この時点でもう一度[テスト]を押すと失敗します。pandasが無いよと言われています。 それはそうという感
-
-
概要 こちらのページで使い方を把握した AWS Glue をこちらのページで使い方を把握した AWS Lambda から起動するようにすると、大規模データの ETL 処理を Job 引数やエラー時のハンドリングを含めて柔軟に行うことができます。Glue と Lambda で利用する言語はどちらも Python であるとして、簡単な連携方法について記載します。 ETL 対象となる S3 データソースの準備 こちらのページでは s3.json という一つのファイルをCrawler に指定しました。今回は以下のように日付毎にフォルダ分けされており、各日付のフォルダには二種類のファイルが存在しているとします。 $ aws s3 ls --recursive s3://my-bucket-20171124/ 2017-12-03 00:56:39 140 20171201/filetype_a.j
-
気付いたらもう9月ですね。 最近、AWS Lambdaでいろいろと遊ぶ機会があったのでメモとして残します。 はじめに とあるセキュリティゲームの運営用に、SeleniumでWebスクレイピングをやっているRubyのスクリプトをEC2で運用していたのですが、Headless Chromeを扱うため大量に起動するとメモリ食っちゃうし、スケールしようにもEC2インスタンスのAutoScaling組むのもちょっとなあ。とか、インスタンスの起動まで待ってられないからある程度多めにインスタンスを実行したりするのも余分にコストが。。。1実行に15分もかからないスクリプトだし、ということでLambdaに移行することにしました。 Lambda Layerについて Headless Chromeを扱う場合、単純にFunctionのデプロイパッケージにバイナリを含めると50MBを超えてしまうため、Lambda
-
1