サクサク読めて、アプリ限定の機能も多数！アプリで開くはてなブックマーク閉じる ●はてなブックマークって？●アプリ・拡張の紹介●ユーザー登録●

はてなブックマーク

総合 ●人気 ●新着 ● IT ● 最新ガジェット ● 自然科学 ● 経済・金融 ● おもしろ ● マンガ ● ゲーム ● はてなブログ︵総合︶一般 ●人気 ●新着 ● 社会ニュース ● 地域 ● 国際 ● 天気 ● グルメ ● 映画・音楽 ● スポーツ ● はてな匿名ダイアリー ●人気 ●新着 ● 新型コロナウイルス ● 働き方 ● 生き方 ● 地域 ● 医療・ヘルス ● 教育 ● はてな匿名ダイアリー政治と経済 ●人気 ●新着 ● 政治 ● 経済・金融 ● 企業 ● 仕事・就職 ● マーケット ● 国際 ● はてなブログ︵政治と経済︶暮らし ●人気 ●新着 ● カルチャー・ライフスタイル ● ファッション ● 運動・エクササイズ ● 結婚・子育て ● 住まい ● グルメ ● お金 ● はてなブログ︵暮らし︶ ● 掃除・整理整頓 ● 雑貨 ● 買ってよかったもの ● 旅行 ● アウトドア ● 趣味学び ●人気 ●新着 ● 人文科学 ● 社会科学 ● 自然科学 ● 語学 ● ビジネス・経営学 ● デザイン ● 法律 ● 本・書評 ● 将棋・囲碁 ● はてなブログ︵学び︶テクノロジー ●人気 ●新着 ● IT ● セキュリティ技術 ● はてなブログ︵テクノロジー︶ ● AI・機械学習 ● プログラミング ● エンジニアおもしろ ●人気 ●新着 ● まとめ ● ネタ ● おもしろ ● これはすごい ● かわいい ● 雑学 ● 癒やしエンタメ ●人気 ●新着 ● スポーツ ● 映画 ● 音楽 ● アイドル ● 芸能 ● お笑い ● サッカー ● 話題の動画アニメとゲーム ●人気 ●新着 ● マンガ ● Webマンガ ● ゲーム ● 任天堂 ● PlayStation ● アニメ ● バーチャルYouTuber ● オタクカルチャー ● デスク環境を整える

﹃qiita.com﹄

● 人気 ● 新着 ● すべて

AWS Athena で CREATE TABLE する - Qiita

3users

qiita.com/yoshiyama_hana はじめに AWS AthenaでCREATE TABLEを実行するやり方を紹介したいと思います。 CTAS(CREATE TABLE AS SELECT)は少し毛色が違うので、本記事では紹介しておりません。 AWS GlueのCrawlerを実行してメタデータカタログを作成、編集するのが一般的ですが、Crawlerの推論だとなかなかうまくいかないこともあり、カラム数やプロパティが単純な場合はAthenaでデータカタログを作る方が楽なケースが多いように感じます。 S3に配置されたデータに対してテーブルを作成する CREATE EXTERNAL TABLE 構文を用いてテーブルを作成いたします。例として、今回は日本の人口推移データをs3://inu-is-dog/athena/c01.csvに配置しました。 (都合上、csvのヘッダーを英語表記に変更いたしました。) 出典‥政府統計の総合窓口 ● テクノロジー ●2022/01/03 17:25

︻クラウドエンジニア向け︼無償公開されている講義資料・研修資料リンク集 - Qiita

457 users

qiita.com/yoshiyama_hana Cybozu 2019年エンジニア新人研修内容 HTTP/DNS Linux ソフトウェアライセンス Git/GitHub Webアプリケーション基礎ソフトウェアテスト＆テスト自動化 Chrome Developer Toolsの使い方データベース Docker Webアプリケーションセキュリティ Linux サーバの CPU やメモリリソースの管理について実践Go言語 Kubernetes を使った開発入門 CI/CD スキーマファースト開発ハンズオン GraphQL編 Cybozu 2020年エンジニア新人研修内容 Webアプリケーション基礎 HTTP/DNS ソフトウェアライセンススクラムトレーニング品質保証活動に関するテスト全般からテスト自動化まで HTTPサーバー開発デザインの役割と関わりかたセキュリティアクセシビリティ Chrome Developer ● テクノロジー ●2021/11/14 18:13 ●エンジニア ●あとで読む ●資料 ●学習 ●技術 ●勉強 ●qiita ●まとめ ●study ●linux

Partition Projectionを用いてAthenaのテーブルのパーティション管理を自動化する - Qiita

3users

qiita.com/yoshiyama_hana 2020年6月20日にAthenaに追加された機能Partition Projectionについて紹介していきたいと思います。 Partition Projectionについて通常Athenaはパーティショニングされたテーブルに対してクエリを実行する際にAWS GlueのデータカタログやHive Metastoreからテーブルのメタデータ情報(パーティション情報やカラム情報など)を取得し、クエリを処理します。その際にパーティションが多数存在する場合、メタデータを取得する時間がボトルネックとなる可能性があります。一方、Partition Projectionを用いた場合、GlueやHive Metastoreへメタデータを取得せずにAthenaのテーブル設定を参照してパーティション情報を取得します。そのため、パーティションが多数存在することによるボトルネックを緩和することが可能にな ● テクノロジー ●2020/12/06 05:02

AWS Athenaでのタイムスタンプの扱い方まとめ - Qiita

5users

qiita.com/yoshiyama_hana はじめに AWS AthenaはPresto SQLに準拠しているため数々の時刻関数を使用することができます。今回は私がよく使うものを紹介していきたいと思います。参照元タイムゾーンの設定 ● テクノロジー ●2020/11/20 09:07 ●athena ●aws ●qiita

SQS → Lambdaのリトライ処理について整理してみた - Qiita

5users

qiita.com/yoshiyama_hana AWSコンソールの画面でAWS Lambdaの画面に遷移して[関数] → [関数を作成]で "dog"という名前のLambda関数を作成します。今回はロールは[基本的な Lambda アクセス権限で新しいロールを作成] で作成しインラインポリシーで以下の権限を追加しました。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:GetQueueAttributes", "sqs:ReceiveMessage" ], "Resource": "arn:aws:sqs:[region]:[accountID]:inu-queue" } ] } そして[トリガーの追加]から先ほど作成したSQSのキュー"inu-queue"を選択しトリガーを有効にし ● テクノロジー ●2020/06/21 04:00

︻AWS認定試験対策︼VPC、Route53のポイントまとめ - Qiita

3users

qiita.com/yoshiyama_hana はじめに AWSの認定試験を受験するにあたって、各AWSのサービスを幅広く理解する必要があったためサービスごとに抑えるべきポイント等をまとめてみました。今回はVPC、Route53についてです。 ※情報は2019年12月31日時点のものになります。ご了承ください。ちなみにAWS認定試験での勉強方法についてはこちらの記事で紹介しています。 AWS 認定Developer Associateに合格するまで Amazon VPC(Virtual Private Cloud)とは、AWS上での仮想ネットワーク環境になります。以下が簡単な特徴になります。料金は発生しないリージョンごとに作成可能以下の制限があるリージョンあたりのVPCは5まで︵制限緩和で100まで引き上げ可能︶ VPCあたりのサブネットの数は200まで VPC 当たりの IPv4 CIDR ブロックは5まで︵最大50まで ● テクノロジー ●2020/02/16 20:15

AWS 認定Developer Associate に合格するまで - Qiita

7users

qiita.com/yoshiyama_hana はじめにこの記事では、いかにして私が2週間ほどの勉強期間でデベロッパーアソシエイトの認定を合格したのかを紹介いたします。動機今までの業務ではAWSを主に分析やETL処理といった用途で扱ってきたが、新しい業務ではAWSの基本的なサービスを抑える必要がありました。そこで、AWSの勉強の1つのマイルストーンとして認定試験の合格とし、勉強をはじめました。経歴私は業務でデータエンジニア、データサイエンティストといった職種の業務を担当することが多く、触ったことがある AWSサービスはかなり偏っておりました。 (もちろん他のAWS認定資格は持ち合わせておりません) ちなみに勉強を始める以前に使ったことのあるサービスは以下になります。 S3 AWS Athena EMR EKS AWS QuickSight AWS CodeBuild AWS Glue AWS ECS 分かる人はわかるかもしれ ● テクノロジー ●2020/01/27 12:29 ●AWS ●勉強 ●サービス

︻初心者向け︼AWS Athena の使い方 - Qiita

5users

qiita.com/yoshiyama_hana はじめにこの記事は初めてAWS Athenaを利用するユーザーを対象にしております。はじめてAWS Athenaを使う人のチュートリアルのようなものになれば幸いです。 AWS Athenaって何？概要簡単に言うと、AWSが提供するフルマネージドサービスで、S3にあるデータファイルに対してクエリを実行することの出来るサービスになります。つまり、S3(オブジェクトストレージ)にデータ(csvやparquet)を配置してしまえば、それだけでそのデータの分析を始められることができます。フルマネージドサービスなのでサーバーの管理は不要ですし、データをRDBにインポートさせる手間も必要ありません。料金スキャンされたデータ 1 TB あたり 5USD (2019年7月13日東京リージョン) これのみです。クエリを実行した分だけ料金が発生します。1ドル=107円換算で1GBあたり約0.5 ● テクノロジー ●2019/07/14 13:01 ●クラウド ●データ ●AWS

このページはまだ
ブックマークされていません

このページを最初にブックマークしてみませんか？

﹃qiita.com﹄の新着エントリーを見る

キーボードショートカット一覧

j次のブックマーク k前のブックマーク lあとで読む eコメント一覧を開く oページを開く ●総合 ●一般 ● ●政治と経済 ●暮らし ●学び ●テクノロジー ●エンタメ ●アニメとゲーム ●おもしろ ●アプリ・拡張機能 ●開発ブログ ●ヘルプ ●お問い合わせ ●ガイドライン ●利用規約 ●プライバシーポリシー ●利用者情報の外部送信について ●ガイドライン ●利用規約 ●プライバシーポリシー ●利用者情報の外部送信について ●公式アカウント ●ホットエントリー ●はてなブログ ●はてなブログPro ●人力検索はてな ●はてなブログタグ ●はてなニュース ●ソレドコ

はてなブックマーク

﹃qiita.com﹄

AWS Athena で CREATE TABLE する - Qiita

︻クラウドエンジニア向け︼無償公開されている講義資料・研修資料リンク集 - Qiita

Partition Projectionを用いてAthenaのテーブルのパーティション管理を自動化する - Qiita

AWS Athenaでのタイムスタンプの扱い方まとめ - Qiita

SQS → Lambdaのリトライ処理について整理してみた - Qiita

︻AWS認定試験対策︼VPC、Route53のポイントまとめ - Qiita

AWS 認定Developer Associate に合格するまで - Qiita

︻初心者向け︼AWS Athena の使い方 - Qiita

このページはまだ
ブックマークされていません

キーボードショートカット一覧