[B! s3] kiririmodeのブックマーク

署名付きURLを利用したファイルアップロードWeb API設計の勘所 | フューチャー技術ブログ

はじめに現代のWebアプリケーションにおいて、ユーザが写真や動画などのファイルをアップロードする機能は、しばしば求められます。本記事では、ファイルアップロードを実現するための一手段として、﹁署名付きURL﹂を利用した方式を取り上げ、その設計について詳しく解説します。今回は、Amazon Web Services︵AWS︶を利用する前提のもと、このアプローチを探求していきます。前半部分は署名付きURLをそもそもよく知らない方向けの導入部となっていますので、要点だけ抑えたい方は設計上のポイントから読まれることをお勧めします。ファイルアップロードの実現方式パターン署名付きURLの話をする前に、ファイルアップロード機能をWeb APIとして実現する方式について、いくつか代表的なものを紹介します。 Pattern 1. multipart/form-datamultipart/form-da

kiririmode 2024/07/20

オブジェクトストレージに対するアップロードとして署名つきURLを利用する場合のパターン。参考になる

リンク

フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシエンジニアブログ

はじめに Presigned URL︵*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができるI

kiririmode 2024/06/02

大容量ファイルのS3アップロードにおける課題として、マルチパートアップロードが効果的。IAMクレデンシャルを利用する方法とPresigned URLによる方法を実装

リンク

[アップデート] Amazon SES のメール受信機能がついに東京リージョンでも使えるようになりました | DevelopersIO

いわさです。本日 Amazon SES のメール受信機能を使用可能なリージョンが追加されたとアナウンスされました。なんと、とうとう東京リージョンでも使えるようになりました。これまでメール受信する仕組みを Amazon SES で使いたい場合でもその部分についてはバージニアかオレゴンを経由させていた方は多いのではないでしょうか。今回東京リージョンのエンドポイントが追加されており、ポリシーなどで海外リージョンが使えない場合でも Amazon SES でのメール受信を採用出来るようになりました。 Amazon SES のメール受信 Amazon SES でメール受信出来たのか？という方は以下の記事も参考にしてください。用途としては一般的なメールクライアントで送受信するための用途ではなくて、受信メールを保存したり、そこから Lambda や SNS を経由して自動化を行う場合などがユース

kiririmode 2023/11/04

MXレコードをリージョン固有のエンドポイントに向けることでSESでメール受信可能になる。メールはS3等に配置するアクションを指定でき、それをトリガにLambda等発火させられる。

リンク

Amazon S3 Presigned URLのアクセス制御を深堀りする - Qiita

はじめに S3へのアクセスを制御するために様々な機能がありますが、これらはIAMのアクセス制御と混同して考えられることが多く、両方の機能の関連について、質問を非常に多く受けています。以前に S3のアクセス制御はまずシンプルに捉えて対応すべきという記事を書きましたが、この記事に書いたように、S3バケットポリシーとIAMポリシーには以下のような違いがあります。 S3バケットポリシーは、S3側で、エンティティから行われるアクセスの制御 IAMポリシーの場合、エンティティ側で、S3に対して行うアクセスの制御このように、両者では設定箇所および制御する操作の矢印の方向が異なります。基本はこの2つでS3バケットやオブジェクトに対するアクセス制御を行いますが、この2つに加えて、全く異なるアクセス制御の要素が加わることがあります。その代表例と言える﹁Presigned URL﹂を今回は取り上げ

kiririmode 2022/09/11

リンク

Amazon S3+CloudFrontで期限付きURL | iret.media

今回の要件としては、URLを時限式でexpireさせる事で、URLを叩けばいくらでもアクセス出来るのを防ぐ事を目的としています。 AWS構成 Amazon EC2 Amazon S3 Amazon CloudFront 事前準備 CloudFrontのOriginをS3に向けてあり、S3とCloudFrontのURLどちらを叩いても同じ内容が表示されている状態にしてあります。テスト用に、Windows7に標準で入ってる画像をアップロードしてあるので、アクセスしてみましょう。どちらも同じ内容が表示されます。実装構想期限付きのURLをEC2から発行し、CloudFrontを経由してS3からコンテンツを取得し配信する。CDP:Private Cache Distributionパターンというやつらしいです。 CloudFront、S3の設定変更今はただアクセスするだけで表示されてし

kiririmode 2022/01/07

CloudFrontからも期限付きURLの発行が可能。秘密鍵が必要

リンク

AWS S3 署名付きURL(presigned-url)を使ってブラウザから直接S3にアップロードする - Tech Blog

今月誕生日を迎えたいわむ(@k_iwamu)です！徐々に1年経つのが早く感じます。。。また1つ年を取りましたが、年齢だけじゃなくきちんとスキルセットも積み重ねられるよう引き続き頑張ります！ (Amazonのほしい物リストをブログに追加しようと思ったのですが、社内から野次が飛んできそうなので控えます。) さて、今回はS3の署名つきURL(presigned-url)を使ってブラウザから直接S3に画像をアップロードする仕組みを作ったので、紹介したいと思います！今回利用することになった理由弊社でフロントエンドとバックエンド(API)を切り離して構成されているwebサービスがあります。そのwebサービスで画像アップロード機能を実装することになりました。画像アップロード機能では、ブラウザから直接アップロードするか、バックエンドを通じてアップロードするかで迷うことが多いと思います。今回は、

kiririmode 2022/01/02

aws
s3

リンク

LocalStackでS3署名付きURLを使う時に気を付けるポイント | フューチャー技術ブログ

TIGの伊藤真彦です。 AWS S3を利用してファイルをアップロード、ダウンロードするフロントエンドアプリケーションの実装を行ったのですが、その際ハマったポイントがいくつかあったのでまとめます。 LocalStackでS3を利用するAWSの機能をローカル環境で模擬するツールでお馴染みのLocalStackですが、AWS S3の機能も模擬できるようになっています。 docker-compose.ymlに設定を記述して、バックエンドAPIなど諸々のコンテナ群と一緒に利用するのが今日では一般的でしょうか。 docker-compose.ymlversion: "3" services: localstack: image: localstack/localstack:0.11.3 container_name: localstack ports: - 4566:4566 - 8080:8080

kiririmode 2021/12/29

リンク

Amazon S3をprivateなモバイルアプリケーション・バックエンドストレージとして利用する方法 | DevelopersIO

で、ディレクトリ構成はこんな感じにしました。 example-bucket ├ public │ ├ us-east-1:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa │ ├ us-east-1:bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb │ │ ... │ └ userX └ private ├ us-east-1:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa ├ us-east-1:bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb │ ... └ userX IAMポリシーの実装以上に沿ったIAMポリシーを書くとこんな感じです。 { "Version": "2012-10-17", "Statement": [ { "Sid": "AllowPublicHomeListing

kiririmode 2021/12/21

写真共有

リンク

Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services

AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. When you store data in Amazon Simple Storage Service (Amazon S3), you can easily share it for use by multiple applications. However, each application has its own requirements and

kiririmode 2021/03/20

s3 objectへのGETリクエストに対してlambdaで応答できる

リンク

S3のマイナー機能の四天王候補の一つであるS3 オブジェクトロックの機能について - プログラマでありたい

Amazon S3の正式名称は、Amazon Simple Storage Serviceです。Simpleを辞書で紐解くと、次のような言葉が出てきます。 1. 易しい、難しくない 2. 簡素な、簡略した、シンプルな 3. 質素な、地味な、豪華でない 4. 単一の、一つだけで構成される 5. 単純な、複雑でない 6. ︹人が︺気取らない、控えめな、見えを張らない 7. ︿軽蔑的﹀︹知的レベルが︺単純な、ばかな 8. ︿軽蔑的﹀教養がない、無知な 9. ︹人が︺素朴な、洗練されていない 10. ︹人が︺真面目な、誠実な、うそをつかない 11. 普通の、いつもの、ありふれた 12. 基本の、初歩の 13. ささいな、重要でない、つまらない 14. ︽植物︾単一の◆︻対︼compound 15. ︽化学︾︹化合物が︺単純な 16. ︽言語学︾︹文構造が︺単純な引用元　英辞郎 on the We

kiririmode 2020/10/19

s3
aws

リンク

S3+CloudFrontでS3のURLにリダイレクトされてしまう場合の対処法 | DevelopersIO

大阪オフィスのYui(@MayForBlue)です。 S3+CloudFrontの構成で静的サイトを構築していてハマったところがあったので書き留めておきたいと思います。 CloudFrontのURLにアクセスしてもS3のURLにリダイレクトされる S3+CloudFrontの構成で静的サイトをホスティングしたのですが、CloudFrontで指定したドメインにアクセスしてもS3のオブジェクト自体のURLにリダイレクトされてしまう現象になりました。（今回はS3をオリジンサーバに設定して構築しました。）例えば https://example.com/sample.html　（CloudFrontで指定したドメイン）にアクセスしても https://example.s3.amazon aws.com/sample.html （S3のオブジェクトURL）にリダイレクトされてしまう状態です。色々

kiririmode 2020/08/01

cloudfrontのソースを別リージョンのs3にすると307になる問題の対処法。bucketが全リージョンに伝搬するには24時間かかる

リンク

Amazon S3 セキュリティベストプラクティスの実践（権限管理のポリシー) – 前編 | Amazon Web Services

Amazon Web Services ブログ Amazon S3 セキュリティベストプラクティスの実践（権限管理のポリシー) – 前編はじめに AWS では、サービス毎にセキュリティのベストプラクティスを公式ドキュメントとして提供しています。本記事では AWS を利用したシステムのセキュリティの検討や実装に関わる皆様を対象に、AWS の代表的なストレージサービスである Amazon Simple Storage Service (S3) を題材にとりあげて、公式ドキュメントで紹介しているベストプラクティスの実装方法をできるだけ具体的に解説したいと思います。 IT セキュリティにおいては、一つの脆弱性や悪意がセキュリティ事故に直結しないようにシステムを多層的に保護する事が重要です。AWS においても、サービスが提供する機能を適所でご利用いただければ多層化されたセキュリティ保護策を、クラウ

kiririmode 2020/06/15

s3に対する権限制御のベストプラクティス。ACLは出来る限り使わずポリシー制御。

リンク

Fargate + Firelens + FluentBit + Firehose で S3(Firehose) と Datadog にログを送る - Qiita

Fargate + Firelens + FluentBit + Firehose で S3(Firehose) と Datadog にログを送るAWS Docker TerraformDatadogfluentbit Firelens + FluentBit を使って Datadog と S3(Firehose) にログを送る方法です。今までは CloudWatchLogs, Lambda, StepFuntion を組み合わせて Datadog と S3 にログを送っていたのですが、Datadog にログを送る Lambda がたまにコケるので、Firelens と FluentBit を使ってログを送るようにしました。 Terraform を使って Fargate で Nginx を動かすまず、Terraform を使って Fargate で Nginx を動かします。ファイル全文

kiririmode 2020/05/17

Fargate->Firelens->FluentBitにログを集約、そこから datadog と firehose に転送。firehose からさらに S3 という毛色。config が別途必要なため、FluentBit のイメージは自作することになる。 ●fargate ●firelens ●aws ●s3 ●devops ●firehose ●datadog

リンク

HIGOBASHI.AWS 第2回 AWSごった煮編で「わかりづらいS3クロスアカウントアクセスに立ち向かう」を話しました #cm_osaka | DevelopersIO

ご機嫌いかがでしょうか、豊崎です。大阪オフィスからお届けしております。今回、HIGOBASHI.AWS 第2回 AWSごった煮編で﹁わかりづらいS3クロスアカウントアクセスに立ち向かう﹂をお話しさせていただきました。HIGOBASHI.AWSとは肥後橋︵大阪︶界隈で開催する、AWSの勉強会コミュニティです。登壇者と参加者がディスカッションしながら進行していきます。前のめりな気持ちで、お気軽にご参加ください。大好評の第1回目に続き、AWSを掘り下げて学べるお薦めの勉強会です。皆様の参加を心よりお待ちしています！登壇資料

kiririmode 2018/03/23

S3の権限整理。わかりやすかった

s3

リンク

1GB/1円のAmazon Glacierを個人でも活用する方法 - ku-sukeのブログ

先日1GB/1円衝撃のAmazon Glacierを早速使ってみた - ku-sukeのはてなダイアリーという記事を書きました。ブコメとかで結構気軽には使えないよね―という意見があったのですが、先日S3経由での利用オプションができたので、割りと個人でも簡単に使えるようになったということでそのやり方を紹介してみようと思います。 S3経由でGlacierを使う新機能とは？普通の速度で使える方のクラウドストレージであるAmazon S3にファイルを保存すると、勝手にGlacierにファイルを送ってS3上にはショートカットのようなものだけを置く感じにしてくれるサービスです！一度S3に保管しますが、S3の利用料はほとんどかからず激安価格でGlacierに保管することができます。もちろん取り出しには数時間かかるという点は変わらないのですが、S3上でファイルの一覧が管理されているので、安心して利用

kiririmode 2013/01/17

glacier
s3

リンク

AWS News Blog

AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin

kiririmode 2012/11/18

リンク

はてなブックマーク

タグ

関連タグで絞り込む (16)

s3に関するkiririmodeのブックマーク (16)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス