[B! GCP] Kesinのブックマーク

Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング | BLOG - DeNA Engineering

2024.05.14 技術記事 Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング by tomohiro.katsukura #loadtest #google-cloud #spanner ゲームサービス事業本部の勝倉です。この投稿では、Cloud Spanner を使う大規模アプリケーション1での負荷試験の方法論と、チューニング方法について記述しています。前半は、従来的な負荷試験の手法が抱える課題を整理し、それらを解決する新しい方法論を紹介しています。後半は、Cloud Spanner で秒間500万超のクエリ(5M+ QPS)の負荷を捌くまでに出てきたボトルネックの見つけ方と潰し方について紹介しています。 1. 負荷試験の悩みどころバックエンドアプリケーションの開発において、負荷試験は重要なチェックポイントになります。これ

Kesin 2024/05/20

GCP

リンク

クラウドでもsuが出来る! GCPにPAM(特権管理)がついに登場

はじめに Linuxの良い所の一つにsuやsudoと言った特権管理の仕組みがあります。普段は通常アカウントで入って、例えばインストールなどの特権作業が必要な時だけsu/sudoで一時的な権限昇格が可能ですし、/etc/pam.dで誰がどのユーザにスイッチ出来るかなどは細かく制御できます。一方で、クラウドの権限管理は悩みの種で、誤操作が怖いので普段はRead Onlyの権限にしておきたいのですが、手軽に権限を昇格する方法がありません。なので、別の管理者ユーザを作って、そちらでログインしなおしたり、それを半自動化するCyberArkやBeyondTrustといったPAM系ソリューション、あるいは最近流行りのCIEM(PAM機能を持つもの)を導入する必要がありました。 Azureでは結構以前からPIM(Privileged Identity Management)がネイティブで組込まれており非

Kesin 2024/05/13

GCP

リンク

［速報］Google、同社初の独自Armプロセッサ「Google Axion」発表。x86ベースの仮想マシンより50％高速と。Google Cloud Next '24

Google Cloudは、日本時間4月10日未明から開催中のイベント﹁Google Cloud Next '24﹂で、同社初となる独自Armプロセッサ﹁Google Axion﹂を発表しました。 Google Cloudによると、Axionは現世代のx86ベースの仮想マシンと比較して50％の性能向上と、60％優れたエネルギー効率を実現しており、さらに現在クラウドで利用可能な汎用Armプロセッサと比較して30％高い性能を提供するとしています。 AWSとマイクロソフトはすでに独自Armプロセッサを発表済み Armベースのプロセッサは、すでにAWSとマイクロソフトがそれぞれ発表済みです。 AWSは2018年に独自のArmプロセッサである﹁Graviton﹂を発表しており、2023年には最新版の﹁Graviton4﹂を発表しています。マイクロソフトは昨年︵2023年︶に同社初のArmベースの独

Kesin 2024/04/10

Armの時代そろそろ始まるかな？

GCP

リンク

Cloud RunサイドカーとURLマスクを活用したWINTICKET Webの検証環境改善 | CyberAgent Developers Blog

今回、Dark Canaryリリースの仕組みを拡張し、Pull RequestごとにDark Canary︵以後PR Dark Canary︶環境を作成する仕組みを整備しました。これにより、本番と同じURLでPull Requestごとの環境に接続して動作確認ができるようになりました。本記事ではその技術構成や運用について紹介します。開発プロセス上の課題 WINTICKET Webの開発プロセスは、フィーチャーフラグを用いたトランクベース開発を中心に行われています。しかし、複雑なリファクタリングや大規模な機能追加の場合など、フィーチャーフラグでは管理しきれないケースも存在します。このような場合、Pull Requestに連動したプレビュー環境での品質管理︵QC︶を試みますが、ドメインの違いやCDNの非配置など、開発環境との差異によって動作検証が困難なケースがあります。この場合、開発環境︵

Kesin 2024/02/21

GCP

リンク

DevFest Tokyo 2023: Google Cloudでチームで安全にデプロイをする

DevFest Tokyo 2023: Google Cloudでチームで安全にデプロイをする https://gdg-tokyo.connpass.com/event/301690/ サンプル https://github.com/sakajunquality/devfest-2023

Kesin 2023/12/09

Cloud Deployの機能が分かりやすく紹介されている。stg -> prodへの昇格にコマンドを挟めたり、canary releaseも簡単にできるのか

GCP

リンク

sinmetalはなぜGoogle Cloudが好きなのか？

Google Cloud Champion Innovators Advent Calendar 2023 の1日目の記事です。 Advent Calendarの初日ということもあり、筆者がなぜGoogle Cloudが好きなのかについて。筆者が初めてGoogle Cloudに出会ったのは2011年で、 App Engine に恋い焦がれてから、ずっとGoogle Cloudを使い続けています。現在、仕事ではかなり大きなシステムをGoogle Cloudで扱っていますが、個人で小さなシステムを作るのも好きです。そんな小さなシステムから大きなシステムまで作れるところも魅力に感じています。この記事では個人でよく作っている小さなシステムに注力しています。筆者が魅力に感じているGoogle Cloudの思想としてDatacenter as a Computerがあります。日本語だとGo

Kesin 2023/12/02

個人開発ならいかにGoogleのデータセンターの端っこで暮らすかを考えるのも楽しい

GCP

リンク

Cloud Storage release notes | Google Cloud

Kesin 2023/11/04

GCSのAutoclass機能が後付けで可能になったらしい。とりあえずStandardクラスで運用していたがあまりアクセスされないファイルが多いバケットをAutoclassに変更できることを覚えておくと便利なときがあるかもしれない

GCP

リンク

大規模レガシーテストを倒すための CI基盤の作り方 / #CICD2023

@ CI/CD Conference 2023 https://event.cloudnativedays.jp/cicd2023/talks/1773

Kesin 2023/10/08

ci
GCP

リンク

Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ

※この投稿は米国時間 2023 年8月25日に、Google Cloud blogに投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニングデータ、モデル、チェックポイントを格納でき、クラウドストレージシステムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクトセマンティクスではなく、ファイルシステムセマンティクスを必要とするからです。 Linux の Filesystem in Userspace︵FUSE︶は、ファイルシステムを Linux カーネル

Kesin 2023/09/19

どういう用途で便利なのか分かっていなかったけど、機械学習のモデルみたいな巨大なファイルで基本的にファイルシステムから読み込む想定のものを扱う場合にコード側を修正せずに対応できるので便利ということか

GCP

リンク

1 つのプロジェクトで複数の Firestore データベースを管理 | Google Cloud 公式ブログ

※この投稿は米国時間 2023 年7月8日に、Google Cloud blogに投稿されたものの抄訳です。このたび、Google Cloud の単一プロジェクトにおける複数 Firestore データベースのサポートを開始しましたので、お知らせいたします。1つのプロジェクトに複数のデータベースを作成し、顧客データやマイクロサービス、開発 / テスト / ステージングの各種環境を隔離して管理できるようになりました。この複数データベースのサポートには以下の機能が含まれます。 Firestore データベースの CRUD 管理: Firestore で新しい API エンドポイント、Terraform リソース、gcloud CLI コマンド、Firebase CLI コマンドを使用して、1つ以上の Firestore データベースを管理できるようになりました。 Identi

Kesin 2023/08/08

Firestoreが1プロジェクトに複数DBを立てることが可能になった。もっと早く欲しかった・・・

GCP

リンク

Google Cloud で "バッチジョブ" を実行する 2 つの方法

こんばんは、カスタマーエンジニアの Ax(あっくす)こと小野です。この記事は、Google Cloud Japan Advent Calendar 2022 - 今からはじめる Google Cloud の24日目の記事になります。クリスマスまであと少し！ということで、サンタさんに伝えたいことない？と毎日子供に聞いている今日このごろです︵※︶。︵※: 執筆開始した時点(2022/12/12)の話です。我が家に煙突はありませんがきっとプレゼントは無事に届くはずです︶ TL;DR; Google Cloud では "バッチジョブ" をマネージド・サービスで実行することができる Batch と Cloud Run jobs が代表例となる Cloud Run 使いは制約を満たせるなら Cloud Run jobs がお勧め Google Compute Engine (以降、GCE)

Kesin 2023/01/10

Cloud Run jobsとBatchをどう使い分けるのかは2022年最大の悩みだった

GCP

リンク

Google CloudのVPCを基礎から始める

こんにちは。Google Cloudのカスタマーエンジニアの有賀です。この記事はGoogle Cloud Japan Advent Calendar 2022 の﹁今から始める Google Cloud﹂編の4日目の記事です。︵3日目はTakayukiさんの﹁Cloud CDNのキャッシュと動的圧縮でコンテンツ配信のパフォーマンスを向上しよう﹂でした。︶本記事ではタイトルの通り、Google CloudのVPCの基礎的な内容をご紹介したいと思います。VPCを作ったり、ファイアウォールを設定したり、と Compute Engine VM を作れるようになるまでの下準備をします。︵Compute Engineの話題は次の記事で取り上げられます。) TL;DR グローバルなVPCを設定できる。カッコイイ！マルチリージョン構成も簡単！サブネットはリージョン単位。ゾーン単位ではない。 defa

Kesin 2023/01/10

Google CloudのVPCの概念をまとめてくれているのでまたVPCを設定するときに読み返したい

GCP

リンク

詳解 Google Compute Engineへの接続

こんにちは。Google Cloudのカスタマーエンジニアの有賀です。この記事は Google Cloud Japan Advent Calendar 2022 の﹁通常版﹂の︵遅れてしまいましたが︶9日目の記事です。クラウド環境へのアクセス制限は、どのようなクラウドを使う場合でも必ず発生する非常に重要な設計・設定の1つだと思います。その中でもVMサービス︵Google CloudだとCompute Engine︶へのアクセス制限は多くの場合で必要になります。そこで本記事ではまず、Compute Engine VMへの接続方法にはどのようなものがあるかを詳細に見ていきます。その上で最後に、それらの接続方法をどのように制限・コントロールをすればよいのか検討したいと思います。 TL;DR VMへの接続はVPCファイアウォールで制限 Identity-Aware Proxyの利用は、API

Kesin 2023/01/09

GCEにsshする方法と裏で何が行われているのかとても詳しく解説されている

GCP

リンク

【書き起こし】Cloud SpannerとMerpayの歩み – sinmetal / apstndb 【Merpay Tech Fest 2022】 | メルカリエンジニアリング

︻書き起こし︼Cloud SpannerとMerpayの歩み – sinmetal / apstndb ︻MerpayTech Fest 2022︼MerpayTech Fest 2022 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2022年8月23日︵火︶からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。この記事は、﹁Cloud SpannerとMerpayの歩み﹂の書き起こしです。 @sinmetal‥こんにちは。ここからは私と@apstndbさんで﹁Cloud SpannerとMerpayの歩み﹂についてお話しします。自己紹介 @sinmetal‥@sinmetalと申します。ソリューションチームに所属しております。元々Google

Kesin 2022/10/20

GCP

リンク

New gcloud storage CLI for your data transfers | Google Cloud Blog

Introducing gcloud storage: up to 94% faster data transfers for Cloud Storage Cloud Storage customers often ask us about the fastest way to ingest and retrieve data from their buckets. Getting the best performance often requires the users to know the right flags and parameters to optimize transfer speeds. In many situations, customers are using Cloud Storage with other Google Cloud services and ar

Kesin 2022/10/09

gsutilを実行したときに裏ではgcloud storageに翻訳して実行してくれるオプションも用意されているらしい。既存のgsutilで書いてしまったスクリプトへの移行パスになるのかな

GCP

リンク

Cloud RunとIdentity-Aware ProxyとGitHub ActionsでPull RequestごとのDeployment Previewを実現する - Hatena Developer Blog

マンガ投稿チームでWebアプリケーションエンジニアをしているid:stefafafanです。この記事では、最近私がチーム向けに整備したDeployment Preview環境の事例を紹介します。 Deployment Previewとはどのようなものか？チームとして求める要件実現したDeployment Previewの全体像 1. DockerイメージをビルドしてArtifact RegistryにpushしてCloud Runで動かすまで GitHub Actionsでどのように実現したか 2. ロードバランサーと証明書の準備、またServerless NEGによる振り分け Certificate Managerでワイルドカード証明書を取得 Serverless NEGを用意してURL MaskでCloud Runのリビジョンタグと対応づける Identity-Aware Prox

Kesin 2022/08/09

GCP

リンク

Cloud Run jobs を解説する

TL; DRCloud Run にバッチ処理などを実行するのに便利な機能﹁Cloud Run jobs﹂が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Task)を実行可能で、より長時間の実行、明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run で、バッチ処理などを行うための機能です。Cloud Run の第二世代の実行環境で動作し、﹁CPU を常に割り当てる﹂が適用されます。従来の Cloud Run との違いは以下の通りです。 HTTP リクエストに依らない実行より長時間の実行 ( 複数の Task を組み合わせることにより60分以上の実行を実現 )明示的な並列処理注意: 2022 年5月13日現在、Cloud Run jobs

Kesin 2022/05/13

GCP

リンク

Google Cloud のブロックストレージの使い方

2020 年 7 月に新しいバランス永続ディスク（ pd-balanced ）と呼ばれる永続ディスクのディスクタイプが追加されました、この記事ではこの新しい永続ディスクタイプについても触れつつ、Google Cloud のブロックストレージの使い方について解説します。この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 7 日目の記事です。前回は Yasushi Takata の「アプリケーションプラットフォーム選択におけるベストプラクティス」でした。ちなみに本記事の公開日である 12 月 7 日は日本で初めてクリスマスツリーが飾られた日で、クリスマスツリーの日だそうです、みなさんクリスマスの準備は順調でしょうか？ tl;drGoogle Cloud のブロックストレージには永続ディスクとローカル SSD

Kesin 2022/05/10

standardとssd以外に新しいタイプが追加されていることを1年以上気が付かなかった・・・

GCP

リンク

Cloud Buildは2022/03/02のアップデートでどれだけ早くなったのか？

Kesin 2022/03/09

このアップデート気になっていたので過去データと比較してもらえるのはありがたい

GCP
CI

リンク

Google Cloud Buildで、ジョブステップのグラフをプルリクエストでレビューできるようにする

概要Cloud Buildのビルド構成ファイルでは各ステップの実行順序を id, waitFor で制御しますが、大量のwaitForが書かれたビルド構成ファイルでは、どのような実行順になっているのかレビューができません。これをレビューできるようにします。こんな感じで、Cloud Buildのジョブステップの依存をグラフ画像にして比較できるようにします↓大量のwaitForが書かれていてレビューが困難な例︵我々のチームで使っている、開発サーバーをデプロイする際のCloud Build定義です。各ステップの細かい説明はしません︶17ジョブステップあるcloudb uild.yamlの例忙しい人向け説明cloudb uild.yamlが変更されているプルリクエストが作成されたとき、以下のことを行なうGitHub Actionを実装しました。 cloudb uild.yaml の各ジョブステッ

Kesin 2022/02/10

CloudBuildもリリースされて何年も経つのに未だに標準でパイプライン図を用意してくれないのはなぜなのだろう…

GCP

リンク

はてなブックマーク

タグ

関連タグで絞り込む (6)

GCPに関するKesinのブックマーク (33)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス