[B! athena] fumikonyのブックマーク

日々変化するゆるふわフォーマットをBigQueryでおいしく料理する方法。Athenaユーザも必見だよ！ - CARTA TECH BLOG

3行まとめ背景データの流れそのままコピーするだけのLambda 外部テーブルを使おうゆるふわをゆるふわのまま扱う JSON Linesを1カラムのレコードとして取り込む定期的に外部テーブルにクエリして結果を保存するまとめ 3行まとめ BigQueryはいいぞ外部テーブルはすごいぞ Scheduled Queryも便利だぞこんにちは。ひむ（@himu）です。株式会社fluctでエンジニアとして働いていたり、ボルダリングしたりガチャを回したり健康で文化的な生活をしています。 fluctはインターネット広告プラットフォームのサービスなどを提供しており、毎日億単位の大量のイベントログが発生しています。イベントログには、売上の計算に必要なデータから、アプリケーションを改善する上で必要なデータなど、様々なデータが入り混じっており、情報が追加されることも度々あります。今回は、そんな

fumikony 2020/10/07

リンク

Docker のログを columnify で Athena (Presto) に特化した Parquet にする

先日 columnify という、入力データを Parquet フォーマットに変換するツールがリリースされました。 cf. 軽量な Go 製カラムナフォーマット変換ツール columnify を作った話 - Repro Tech Blog また、fluent-plugin-s3 で compressor として columnify をサポートする話が出ています。1 cf. Add parquet compressor using columnify by okkez · Pull Request #338 · fluent/fluent-plugin-s3 個人的に前々から Docker のログを Parquet フォーマットで S3 に put して Athena で検索できると素敵だなと思っていたので喜ばしいことですね！そんなわけで、Docker のログを fluentd log dr

fumikony 2020/08/26

リンク

Amazon AthenaのPartition Projectionを使ったALBのアクセスログ解析環境をTerraformで構築する | Recruit Tech Blog

こんにちは。スタディサプリ ENGLISH SREグループの木村です。はじめに障害調査などでALBのアクセスログを解析したいというときが皆あると思います。私はあります。今回はAthenaを使ってALBのログを解析する方法と新機能で発表されたPartition Projectionを利用するとどのようなメリットがあるのか説明したいと思います。 ALBのアクセスログ ALBには標準でアクセスログを出力する機能があり、有効化することで自動でS3にアクセスログを保存することができます。しかし、標準でアクセスログはgz形式で出力されており、通常解析するにはS3からダウンロードをしてきて、その後にgzを解凍してから、別途ツールを使って分析するなどの面倒な作業が発生してしまいます。また、アクセスログはデータが大量になることも多く、DLして利用する場合でも一度に多くの範囲を分析するのは困難です

fumikony 2020/08/14

リンク

Very cool らしい AthenaCLI を試してみたら、やっぱりクールだった件 | DevelopersIO

はじめに Very cool らしい AthenaCLI を見つけてしまったので、早速試してみたいと思います。 Very cool: AthenaCLI - Command lineinterface to Amazon Athena - https://t.co/YAlghX2Upo (found on Awesome AWS - https://t.co/GaoWeC9Ntq) pic.twitter.com/abA2J8eMaO — Jeff Barr ☁️ (@jeffbarr) October 18, 2018 導入インストールインストールした環境は、macOS High Sierra / バージョン10.13.6、python3.6です。dbcli/athenacliに書いてあるとおり、pipでインストールします。 $ pip install athenacli Coll

fumikony 2018/10/19

良さそう

aws
athena

リンク

Amazon Athena のPartitioningとBucketingによるパフォーマンス戦略｜ DevelopersIO

はじめに先日ご紹介したAmazon AthenaのCTASサポートで、出力ファイルのBucketingとPartitioningに対応しました。BucketingとPartitioningは、相反するものではなく、必要に応じて組み合わせることでパフォーマンスの改善が期待できます。本日はBucketingとPartitioningの具体的なユースケースとパフォーマンス戦略について解説します。 Amazon Athena が待望のCTAS︵CREATE TABLE AS︶をサポートしました！ PartitioningとBucketingの解説 Partitioningとは Partitioningとは、データを指定したキーごとにファイルにまとめてグループ化します。指定したキーのことをパーティションキーと呼びます。一般的なDBのパーティショニングと概念は一緒ですが、Hiveのパーティショニング

fumikony 2018/10/16

リンク

AWS Athenaを使ってみよう

KLab Advent Calendar 10日目の記事です。KLab分析基盤チームの高田です。分析基盤チームでは、社内向けに各種KPIを提供している他、KG SDKのKPIレポートシステムを通じて、パートナー向けにシステムを提供しています。今回は、先日re:Invent 2016で発表されたばかりのAWSの新サービスAthenaを試してみました。KLabの分析基盤システムでは、すでにRedshiftやEMRを使用していますが、Athenaには、これらを補うような役割(低コストで導入し、アドホックな分析や定型的なレポートの作成をサポートするといった用途)を期待しています。 Athenaとは?ひとことで言えば、Athenaとは、S3上に置いてあるデータを高速にSQLで集計・分析できるサービスです。内部はPrestoをベースとしつつ、独自の改修をくわえて使用しているようです。Athena

fumikony 2018/06/25

リンク

ELBのアクセスログを可視化し、超絶手軽に分析する[QuickSight,Athena] | DevelopersIO

コンニチは、千葉です。 QuickSightとAthenaを使って、色々な視点からELBのログを分析してみました。 SQLをガンガンかける人は、Athenaのみで完結する場合もあるかもしれませんが、グラフで直感的に見るメリットもあると思います。準備手順サマリです。以下でやっていきます。 AthenaにてELBログテーブルを作成する QuickSightにて、データセットを作成する QuickSightにて分析する AthenaにてELBログ用のテーブルを作成する Amazon AthenaでELBログをSQLで解析する #reinvent こちらのエントリを参考に、Athenaにテーブルを作成します。 QuickSightにて、データセットを作成するマネージメントコンソールからQuickSightへ移動し、[New Analyze]から[New DataSet]で新しいデータセットを

fumikony 2018/05/20

リンク

FluentdのログフォーマットでS3に保存されたApacheのアクセスログをAmazon Athenaで集計する - Fusicきばんブログ

突然の Amazon Web Services Advent Calendar 2016 の15日の記事です基盤ユニットの小山 ( @k1LoW )です。 AWS re:Invent 2016すごかったですね。数多くのサービスが使える形でリリースされてきました。ただ、個人的にはその後の aws-sdk-ruby が v3に上がるというエントリーを見て、awspecをどうしようか戦々恐々としています。 awspecを aws-sdk-ruby v3.0.0.rc2 で動かしてみようと思ったら、依存している https://t.co/TIuG9dGHfH のテストが v3.0.0.rc2 失敗したので、1回休み— k1LoW (@k1LoW) 2016年12月14日突然のアクセスログ集計あるAWS上に構築しているシステムプロジェクトで、突然﹁月単位でのアクセス集計1年間分﹂という

fumikony 2018/04/10

リンク

AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する | Amazon Web Services

Amazon Web Services ブログ AWS CloudtrailLogsを AWS Glue と Amazon Quicksight 使って可視化する AWS CloudTrailログを簡単に視覚化できることは、AWS インフラストラクチャがどのように使用されているかについてより良い理解を提供してくれます。また、AWS API コールの監査とレビューを行って、AWS アカウント内のセキュリティ異常を検知するためにも役立ちます。これを行うには、CloudTrailログに基づいた分析を実行できる必要があります。この記事では、Amazon S3 内の AWS CloudTrailログを JSON 形式からクエリ用に最適化された形式のデータセットに変換するための AWS Glue と AWS Lambda の使用について詳しく説明します。その後、Amazon Athena

fumikony 2018/02/15

リンク

Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services

Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを

fumikony 2017/11/01

リンク

【新機能】Amazon QuickSightがAmazon Athenaをサポート！ | DevelopersIO

こんにちは、大雪で飛行機が欠航になって自宅でブログを書いているせーのです。今日は出たばかりの新サービス﹁QuickSight﹂の新機能のご紹介です。 QuickSightとAthena QuickSightは様々なデータを簡単な操作でグラフとして表示できるBIツールです。このブログを見ている方はちょうどQuickSightのアドベントカレンダーをやっていたのでよく目にしているサービスかと思います。QuickSightを使うとこんなグラフが書けます。カラフルでいい感じですね。一方AthenaはS3に入っているデータを標準SQLを使って分析することができるサービスです。Athenaにテーブルを作り、S3のバケットを指定してSQLを流すと欲しいデータが引っかかります。つまり、S3にとにかく何も考えずにデータを投げ込んでおいて、後でAthenaを使って必要なデータだけを拾い上げていく、という方

fumikony 2017/07/13

リンク

Amazon Athena で S3 Access Log を分析する - tech.guitarrapc.cóm

re:Invent 2016 は AWS の利用が一段回上に上がる素晴らしい発表が多かったです。さて今回取り上げるのは Athena です。 Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services ブログすでに素晴らしい資料があるのでそちらをご参照ください。ざっくり個人的な理解は、Google BigQuery の AWS版という雑な印象です。 What'sAmazon Athena? - re:Growth 2016 Osaka from Ganota Ichida www.slideshare.net data.gunosy.io 今回は S3 を Static website hosting している場合の S3 アクセスログを Athena で分析してみましょう。ELBとか CloudTrailはある

fumikony 2017/07/13

リンク

【レポート】AWS Summit Tokyo 2017：[JapanTaxi] Athena 指向アナリティクス〜真面目に手を抜き価値を得よ〜 #AWSSummit | DevelopersIO

スピーカー‥ 梅田昌太様 JapanTaxi Co.,Ltd. 開発部技術基盤チームリーダーセッション概要‥ 毎月 200 万人のアクティブユーザーをかかえる﹁全国タクシー﹂では、Amazon S3 上に保存したアプリケーションログを Amazon Athena で分析し、開発にフル活用しています。S3 をインターフェースとする Athena は手軽に利用でき、他サービスとの連携が容易に行なえます。このセッションでは、Athena のノウハウや実際の利用方法、独自の使い方をご紹介します。セッションレポート以下、セッションレポートです。全国タクシーの紹介全国タクシー、携帯アプリタクシー会社が内製位置情報サービス移動で人を幸せにするサービス規模47都道府県提携タクシー会社=322 提携タクシー台数=3352台その他のサービスパートナー様向けサービス上部員の方

fumikony 2017/06/08

リンク

ぼくがAthenaで死ぬまで

AWS Black Belt Tech Webinar 2015 Amazon Kinesis 次回のWebinarは、下記よりご確認ください。 http://aws.amazon.com/jp/about-aws/events/#webinar ★AWS Black Belt Tech Webinarとは AWSのソリューションアーキテクト、TechメンバがAWSのプロダクト/ソリューションを深堀りして解説し、参加されている皆さまからの質問にお答えする無料のWebinar(Webセミナー）です。毎週水曜日(祝日などを除く)、日本時間の18:00から約1時間にわたってお送りしています。

fumikony 2017/04/01

aws
athena

リンク

AWS Athena雑感 - Go ahead!

Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる．実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう．パフォーマンスいくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon

fumikony 2016/12/06

リンク

はてなブックマーク

タグ

関連タグで絞り込む (18)

athenaに関するfumikonyのブックマーク (15)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス