[B! gcp] skypenguinsのブックマーク

GCP、AWS、Azure 別に見るクラウド VM への攻撃経路まとめ

概要本稿は、クラウド内の仮想マシン (VM) サービスに対する潜在的な攻撃ベクトルを特定・緩和するための戦略について解説します。組織はこの情報を使って、VMサービスに関連する潜在的リスクを理解し、防御メカニズムを強化できます。この調査では、Amazon Web Services (AWS)、Azure、Google Cloud Platform (GCP) という3つの主要クラウドサービスプロバイダー (CSP) が提供するVMサービスを中心に取り上げます。VMはあらゆるクラウド環境で最も利用数の多いリソースの1つで、その多さがゆえに、攻撃者らの主要な標的にされています。私たちの研究からは、インターネットに公開されているクラウドホストの 11% には、深刻度が﹁緊急 (Critical)﹂または﹁重要 (High)﹂と評価される脆弱性があることがわかっています。V

skypenguins 2024/06/30

リンク

なぜ今も Google App Engine を選ぶのか - ぽ靴な缶

Google Cloud で何かアプリケーションを動かしたい時、いつも App Engine (GAE) を第一の選択肢として挙げています。なのにみ〜んな Cloud Run に行ってしまう。なぜなのか??確かに Cloud Run のほうが新しくて公式に露出が多いし、GAE はこういうランディングページからの言及も消えているので無理もない。Google Cloud 的にもあんまり使って欲しくない雰囲気が漂っている。 cloud.google.com App Engine は GCP 最初期からあるサービスで今年で14年目になるらしい。当時学生だった僕はすげーのが出たぞと聞いて GAE を触っていた記憶がある。その頃は Google App Engine 単体で出ていて、他のサービスが続いて Google Cloud Platform になったような気がする1。そんな歴史あるサ

skypenguins 2024/04/16

google
gcp

リンク

Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える

前から気になっていたLitestream を Cloud Run で使ってみたので、そのメモです。Litestream とは？サンプルコード手順動作確認してみる制限事項おまけまとめ参考Litestream とは？Litestream は、 SQLite のデータベースファイルを Amazon S3 や Google Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。例えば通常 Cloud Run で DBエンジンとして SQLite を使用しようとしても、コンテナが破棄されると同時に毎回 SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。しかしLitestream を使用すれば、 SQLite のデータベースファイルをオブジェクトストレージに

skypenguins 2024/02/07

Lifestreamにみえた（FF7脳）

gcp
rdb

リンク

AWS側の目線から理解する、Google Cloud ロードバランサの世界 - How elegant the tech world is...!

はじめにお久しぶりです、iselegantです。今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。私もその道を辿ってきた一人です。現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅

skypenguins 2024/01/16

リンク

300万テーブルのデータ流通を支えるエンジニアリング #GoogleCloud #GoogleCloudDay / 20230523

テクノロジーカンファレンス﹁Google Cloud Day ’23 Tour in TOKYO﹂の登壇資料です。詳細は当社ニュースをご参照ください。 https://kazaneya.com/5a50c1c1bb7b42f1bd9eb7b35d813ba1 --- スモールチームで 300 万テーブル規模のデータ基盤を構築・運用し、社内・社外にデータを提供しています。スケーラブルな仕組みやデータ流通を実現するヒントになればと思います。具体的には - BigQuery へのマイグレーション - dbt によるデータモデリング - IAM や AnalyticsHub によるデータ共有 - BigQueryML による異常検知 - CS 活動におけるデータ活用といったテーマを扱います。 ---------------------------------------------------

skypenguins 2023/06/10

リンク

スプラトゥーン3をパケットキャプチャーで解析、最新の通信技術を学ぼう

人気の﹁スプラトゥーン3﹂を通して、最新の通信技術の基本を学んでしまおうというこの特集。今回は実際にスプラトゥーン3のパケットをWiresharkでキャプチャーして、UDPの通信やNAT越えの仕組みを見ていきます。なお記載内容については、実際の通信をキャプチャーした結果に基づいた筆者の考察や推測によるものであり、任天堂の公式見解ではないことを記しておきます。任天堂が開発した汎用ゲームプラットフォーム﹁NPLN﹂スプラトゥーン3では、﹁NPLN﹂という、任天堂がスクラッチから開発をした任天堂プラットフォーム向け汎用ゲームサーバーが使われ始めました。従来のプラットフォームである﹁NEX﹂はニンテンドー3DS／Wii Uからの世代で使われてきて、NPLNはそこでのノウハウを基に2021年から﹁Google Cloud Platform︵GCP︶﹂で稼働しているようです。オンライン対戦のマッ

skypenguins 2022/11/22

いつのまにかGCPも使ってたとは…

リンク

Twitter、Google Cloud 用 API でツイートからインサイトを獲得 | Google Cloud 公式ブログ

※この投稿は米国時間 2022 年6月28日に、Google Cloud blogに投稿されたものの抄訳です。編集者注: Twitter はデータの宝庫と言われています。しかし、世の中で何が起きているのか、人々は今何を話しているのか、その情報をどのようにビジネスのユースケースに活かすのかを理解するために、ツイートを分析する作業には、これまで高度な技術と時間が必要でした。今はそうではありません。Twitter は最近、Google Cloud 向けの API ツールキットを発表し、デベロッパーが数分以内にツイートから大規模にインサイトを獲得できるよう支援しています。このブログは、これを実現した Twitter チームとの対話をもとに書かれています。このブログに貢献してくだった、Twitter の Prasanna Selvaraj 氏と Nikki Golding 氏に謝意を表し

skypenguins 2022/07/10

リンク

とりあえずWebサービス作る時の私の技術選定ポイント@2022/02

はじめに inspired mogaさんのブラウザで動くサービスを作るときの技術選定が素晴らしい記事だったので、自分も書いてみる事にしました。幸いにも技術選定からのお仕事をする機会が多くて、自分の中でパターンが大体決まってきているので言語化してみます。前提が同じサービスは無いので絶対的な正解は無いですが、なんかしらの参考になれば幸いです。 ※2022/02時点私/よくあるお仕事について Web系のサービスなんかいい感じにするマンとして、フリーランスとして働いています。準委任という形でスタートアップ企業をお手伝いする事が多いです。 MVPを作りたい、もしくはMVPは行けたのでちゃんと作り直したい、という要望があって参画して、まるっと作ってそのまま運用をします。作って終わりではなくて、運用や拡張性を考えてやってます︵サービスに必要なのはもちろん、運用する自分が楽だから︶。前提エンジニ

skypenguins 2022/02/13

小規模なサービスならフロントもバックもTypeScriptでGCPのプロダクトにおんぶに抱っこの時代なんだなあ

リンク

GCPをフル活用して東京五輪の2週間で約5000万ツイートをさばいた話 - JX通信社エンジニアブログ

はじめまして。JX通信社でデータアナリストをしている @nrtaking です。弊社では、7/23〜8/8に行われた東京オリンピック、8/25〜9/5に行われた東京パラリンピックにあわせて関連した日本語ツイートを全量収集し、Twitter Japanなど各社に提供していました。内容に関する簡単な分析についてはプレスリリースでお伝えしているので、そちらもあわせてご覧ください。 prtimes.jp 実はこのツイート収集システムは、2週間ほどでほぼゼロから立ち上げたものでした。今回は五輪関連のツイート収集を支えた技術について紹介します。叶えたかった要件五輪に関するツイートを、NTTデータの提供するAPIからストリームで受け取り続けるツイート量などの統計情報やRTが多いツイート情報をダッシュボードの形で見ることができる上記を︵ほぼ︶リアルタイムで実現できる実はこの取り組みにあたり

skypenguins 2021/09/12

gcp

リンク

NTTドコモがペタバイト級分析基盤で「BigQuery」本格運用開始、背景を語る (1/2)

初日のセッションではNTTドコモサービスイノベーション部エンジニアの林知範氏が登壇し、同社が2014年から構築、運用してきたビッグデータ分析基盤「IDAP」において、Google Cloudの「BigQuery」を今年から本格導入した背景や、オンプレミス環境やAmazon Web Services（AWS）環境と組み合わせたアーキテクチャ、BigQuery採用で得られたメリット、BigQuery活用のうえでのTipsなどを紹介した。本稿では、その後に開催されたGoogle Cloudの記者説明会における質疑応答の内容も合わせて、同セッションをレポートする。

skypenguins 2021/09/12

SQLで機械学習か…

リンク

みんなの銀行：日本初の「デジタルバンク」として Google Cloud に勘定系を構築。Cloud Spanner で銀行基幹システムで求められる可用性を実現 | Google Cloud Blog

みんなの銀行：日本初の「デジタルバンク」として Google Cloud に勘定系を構築。Cloud Spanner で銀行基幹システムで求められる可用性を実現 2021 年 5 月にサービス提供を開始した「みんなの銀行」は、デジタルネイティブ世代をターゲットとしたスマートフォン専業銀行。金融にまつわる煩わしさを排除し、ゼロベースでこれからの銀行に求められる機能を開発・提供していくと打ち出しています。そんな同行の大きな技術的トピックの 1 つが、勘定系システムにパブリッククラウドを採用したこと。これはもちろん国内初*の試みです。ここではサービス開始後の手応えをシステム構築をリードしてきた皆さんにお伺いしました。利用している Google Cloud ソリューション： Google Cloud Databases、Stream Analytics 利用している Google Cloud

skypenguins 2021/09/12

手数料をサブスクと言い換える発想に脱帽した

リンク

GCPとDockerでKaggle用計算環境構築 - Qiita

Kaggle Advent Calendar 13日目の投稿です。初めまして、Lain︵@lain_m21︶と申します。Qiita初投稿です！今回はKaggle関連のトピックで何か短いのを一本書こうと思い、私が普段行なっているコンペ用の環境構築についていくつか良いなと思ったtipsをシェアしたいです。先に結論からまとめておくと、ローカルPCよりクラウドの計算資源をうまく使おう AWSもいいけど、GCPの方が目的に応じてインスタンススペックを細かくチューニングできるので良いぞ今後のクラウドの環境構築をスムーズにするためにdockerを使おうといった感じです。昨今のコンペの規模を考えるとクラウドで計算することが増えると思うのですが、いちいちコンペごとに環境構築したりめんどくさいと思うので、できるだけdockerで自動化して楽しよう！というのが趣旨になります。一応順を追って説明しま

skypenguins 2018/12/21

リンク

株式会社バンダイナムコスタジオ様の導入事例動画： Google App Engine の活用で、ゲームリリース後のトラブルとは無縁の「平和な日々」という驚きを体験 | Google Cloud 公式ブログ

株式会社バンダイナムコスタジオ様の導入事例動画‥ Google App Engine の活用で、ゲームリリース後のトラブルとは無縁の﹁平和な日々﹂という驚きを体験ゲームアプリ﹁アイドルマスターミリオンライブ！シアターデイズ﹂︵配信元‥株式会社バンダイナムコエンターテインメント︶の開発にあたり、株式会社バンダイナムコスタジオは Google Cloud Platform︵GCP︶の導入を決断します。 Google App Engine︵GAE︶は、スケーリングが極めて高速であり、突発的なアクセス数増加にも柔軟に対応することが可能です。この GAE を活用し、大きなメリットを生み出した同社の事例をご紹介します。 ■ 利用している Google Cloud Platform サービス Google App Engine、Google Kubernetes Engine、Cloud Dat

skypenguins 2018/07/30

リンク

TensorFlowのGPU環境をGCPでさくっと作る方法 - Qiita

TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、 GPUの割り当て申請︵初回のみ。所要時間は約5分︶ CUDAやcuDNNをインストール︵NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒︶ TensorFlowをインストール︵所要時間は約5分︶って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。 GPUの割り当て申請︵初回のみ。所要時間は約5分︶ Cloud Datalabインスタンスを作成︵コマンド一発、待ち時間は15分ほど︶これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、

skypenguins 2018/07/14

“Cloud Datalab”

リンク

株式会社メルカリの導入事例：Kubernetes を駆使したマイクロサービス化でグローバルサービスの開発効率を劇的に向上 | Google Cloud 公式ブログ

日本国内で圧倒的なシェアを誇り、今や知らない人はいないというほど認知度を増した「メルカリ」。その勢いは国内だけに留まらず、2014 年 9 月には米国に、2017 年 3 月には英国でのサービスを開始しています（世界累計 1 億ダウンロード。2017 年 12 月 16 日時点）。海外展開に消極的と言われる国内サービス事業者ですが、同社に関してはその常識は通用しないようです。今回は、そんなメルカリの米国における最新の取り組みについて、今春 CTO に就任した名村卓さんと、SRE 中島大一さんにお話をお伺いしました。 ■ 写真左から執行役員 CTO 名村卓氏 SRE 中島大一氏 ■ 利用している Google Cloud Platform サービス Google Kubernetes Engine、Cloud Dataflowなど ■ 株式会社メルカリ 2013 年 2 月 1 日

skypenguins 2018/01/22

“ゼロからフルスクラッチで”「頭痛が痛々い」みたいな表現だな

リンク

Google Cloud ML EngineをJupyterから簡単に使えるMagic - Qiita

Cloud ML Engineへ学習JobをJupyterから簡単に投げたいなぁと思い、そんなJupyter用 Magic Command Extensionを作りました。 Jupyterで書いたモデルを、Runすればクラウド上で実行することができます。こんな感じ。 Cloud ML Engineとは簡単に言えばTensorFlowの学習や予測JobをCloud上で実行できるマネージドな環境です。一般的にはDistributed TensorFlowで大規模に学習をさせるケースが多いかと思いますが、私のようにメインマシンがMacBookでGPUも使えない環境の場合は、GPUを気軽に使えるリモートの環境として重宝しています。また、GCEとは違ってJobが終われば自動で立ち下がるため、インスタンス落とし忘れで課金が大変な事になる心配もありません。準備 Google Cloud SDKの

skypenguins 2018/01/09

リンク

[GCP]Cloud Machine Learningを使ってハイパーパラメータチューニング | Workpiles

GCP Cloud MLを使ってハイパーパラメータチューニングをやる方法です。普段の開発環境にはGPU付いてないので、ここぞという時はGCP︵Tesla K80︶使ってます。お値段は1時間使って約1.5ドル︵160円︶ほどです。 ※ちなみにTesla K80のお値段って80マンもするんですね。たかっ！ハイパーパラメータチューニングみたいにPCぶん回さないといけない場合も、CPUだと厳しいのでGCPを使います。 CloudMLを使ってトレーニングができる環境が構築済みという前提で話を進めていきます。準備まずは、CloudML上でハイパーパラメータチューニングを行うためにいくつか準備が必要です。1．パラメータを実行時オプションから指定出来るようにソースコードを書き換えるチューニング対象のパラメータをプログラム実行時のオプションで指定できるように書き換えます。例えば、下記のように学

skypenguins 2018/01/09

CloudML
GCP

リンク

Google Cloud Machine Learning : 入門編 (1) – OpenAI API / Gemini API | ClassCat® Chatbot

Google Cloud Machine Learning がパブリック・ベータになった旨のお知らせを頂きましたのでさっそく試してみました。サービスの概要は以下に記されています : Google Cloud Big Data and Machine Learning Blog要約すれば、Google Cloud Machine Learning は GCP (Google Cloud Platform) と統合され、Google Cloud Dataflow、BigQuery、Cloud Storage そして Cloud Datalab のようなクラウド・コンピューティング・ツールと TensorFlow に渡るリッチな環境をスケールして作成可能なフルマネージドサービスになります。また、新しい特徴として HyperTune があります。これは自動的に予測精度を改善します。モデルのため

skypenguins 2018/01/09

リンク

TFGANでFashion MNISTのGANをさくっと試す - Qiita

これはTensorFlow Advent Calendar 2017の22日目の記事です。 12/12にGoogleからTFGANがリリースされた。TFGANはTensorFlowでGenerative Adversarial Networks (GAN)を手軽に使えるライブラリ。さっそく触ってみたので、お手軽に試す手順を紹介したい。おそらく30〜60分ほどでこんなふうにFashion MNISTの画像が徐々に生成されていく様子が確認できるはず。 TFGANで生成したFashion MNIST画像 GANって何？ GANについては、アイドル顔画像生成やいらすとや画像生成などの事例で目にしたことのある人も多いはず。いわゆる生成モデルに分類される技法で、既存のデータを投入して学習すると、そのデータの特徴を捉えた新しいデータの生成を行える。2014年にIan Goodfellow他が考案したモデ

skypenguins 2018/01/04

リンク

Google Compute Platformの無料枠がちゃっかり拡大されたらしいので使ってみる - jtwp470’s blog

こんにちは．たんごです．ニュースを読んでいたら常時無料プランができたらしいですね．AWSは1年間無料枠があるのとバイト先で利用しているので慣れ親しんでいますし，さくらのクラウドはよくクーポンをもらっていたのでそれで楽しんでいました．またAzureに関しても昨年のISUCONで使ってみてWeb UIはハゲるほど使いづらいなぁという印象を受けていましたがGCPだけは使っていませんでした．しかし jp.techcrunch.com の記事にあるようにGCPのCompute Engine (AWSのEC2に相当)にも常時無料枠が登場したとのことなのでせっかくですが試してみます．残念ながら私にはないのですが初めて利用する方には12ヶ月有効の300ドルクレジットがもらえるらしいですよ始め方プロジェクトを作成する． IAMの画面にあるプロジェクト作成を選択して適当な名前で．アカウントに課金を有

skypenguins 2017/12/24

GCP

リンク

はてなブックマーク

タグ

関連タグで絞り込む (53)

gcpに関するskypenguinsのブックマーク (32)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第1週）

月間はてなブックマーク数ランキング（2024年6月）

今週のはてなブックマーク数ランキング（2024年6月第5週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス