タグ

関連タグで絞り込む (9)

タグの絞り込みを解除

datastoreに関するgom68のブックマーク (13)

  • Data Warehouse vs. Data Lake Technology: Different Approaches to Managing Data - DATAVERSITY

    Homepage > Education Resources For Use & Management of Data > Data Warehouse vs. Data Lake Technology: Different Approaches to Managing Data Solving business problems using big data depends upon the approach taken. For example, if an organization only knows data warehouses, then challenges will be framed to fit using a data warehouse. As Abraham Maslow, a prominent psychologist eloquently said “I

    Data Warehouse vs. Data Lake Technology: Different Approaches to Managing Data - DATAVERSITY

  • Google Spanner のアーキテクチャを知る - Yuichi Murata's Engineering Blog


    最近 Cloud Spanner のベータ公開によって話題の Spanner。 気になっていたので論文を読んだり勉強会などで情報収集していました。日本語のリソースもそこまで多くないので、調べてわかったことを纏めておきます。 簡単にまとめると特徴は以下のとおりです。 Bigtable / Datastore と類似したアーキテクチャをとっておりTablet群にデータを分散保存している ↑の仕組みであるの上に Lock Tableを実装して同期処理のためのロックを処理している さらに↑の仕組みの上に分散トランザクションマネジャーを実装し、グループ横断のトランザクションを管理する 以下で、細かい説明を続けていきます。 Spanner の全体構成 Universe と Zone Zone と Spanserver Spanserver の構成 Spanserver と Replica Rep
    Google Spanner のアーキテクチャを知る - Yuichi Murata's Engineering Blog

  • Google App EngineでGlobal Transaction - ひがやすを技術ブログ


    Google App EngineにはTransactionは1つのEntity Group内でしかできないという制限があります。詳しくは、App EngineのEntityGroupを理解しよう - yvsu pron. yasを参照してください。 そうするとある口座から別の口座にお金を振込むような送金のパターンで、Transactionを利用することができません(すべての口座を1Entity Groupに押し込むと更新がぶつかって現実的ではないから)。送金パターンで整合性を保つためには、理論的には次のようになります。 http://songofcloud.gluegent.com/2009/11/blog-post_18.html 実装するとこんな感じ。 http://blog.notdot.net/2009/9/Distributed-Transactions-on-App-Engi
    Google App EngineでGlobal Transaction - ひがやすを技術ブログ

  • はてなブログ | 無料ブログを作成しよう


    週報 2024/04/28 川はただ流れている 4/20︵土︶ 初期値依存性 さいきん土曜日は寝てばかり。平日で何か消耗しているらしい。やったことと言えば庭いじりと読書くらい。 ベランダの大改造をした。 サンドイッチ 一年前に引っ越してからこんな配置だったのだけど、さいきん鉢を増やしたら洗濯担当大臣の妻氏…
    はてなブログ | 無料ブログを作成しよう

  • AppEngineのDatastoreの学び方 - ひがやすを技術ブログ


    Google AppEngineではBigtableの上にDatastore Serviceが構築されていて、開発者は、このDatastore Serviceを利用してBigtableにアクセスすることになります。このDatastore ServiceはPython版もJava版も機能はほとんど同じです。もしかすると、全く同じものかもしれません。 GAE/Jの場合、JDOを通じて、Datastore Serviceを利用するのが推奨されていますが、実はこれが嵌りポイント。 JDOは汎用的なインターフェースなので、Datastore Serviceを理解するのには向いていません。Datastore ServiceがRDBMSのような高機能なら、JDOを通じて抽象化し、Datastore Serviceのことは知らなくても済すのもぜんぜんありなのですが、残念ながら、そうなってはいません。Da
    AppEngineのDatastoreの学び方 - ひがやすを技術ブログ

  • App Engineでバージョンによる楽観的排他制御 - ひがやすを技術ブログ

    Song of Cloudで送金のトランザクション処理パターンが紹介されていました。 http://songofcloud.gluegent.com/2009/11/blog-post_18.html 同様のpython版がこちら Distributed Transactions on App Engine - Nick's Blog 上記のやり方で基本的には問題はないのですが、バージョン管理による楽観的排他制御を行っていないので、送金だけを考えるなら、残高を差分で更新しているので大丈夫ですが、これを一般的なパターンに拡張しようとすると、楽観的排他制御は必要になります。 楽観的排他制御とは、エンティティにバージョン番号を持たせておいて、メモリ読み込んだときのバージョン番号と書き込むときのバージョン番号が等しいことを確認する方法で、RDBMSの場合は、次のようなSQLを実行することで実現しま

    App Engineでバージョンによる楽観的排他制御 - ひがやすを技術ブログ

  • ここが大変だよBigtableとGoogle App Engine


    ここが大変だよBigtableとGoogle App Engine‥分散Key-Valueストアの本命﹁Bigtable﹂︵3︶︵1/2 ページ︶ RDBとは別の、クラウド時代のデータベースとして注目を浴びている﹁分散Key-Valueストア﹂。その本命ともいえる、Googleの数々のサービスの基盤技術﹁Bigtable﹂について徹底解説 月間3000万PVの大規模サイトの運用費が月額4万円!?月間3000万PV相当の膨大なトラフィックを楽々とさばく大規模サイトが、月額4万円弱で運用されている。 Google App Engine︵以下、App Engine︶が普及するにつれて、そんな驚愕の国内事例も登場しつつあります。GClueがApp Engine上で実装したmixiアプリモバイルモバイルには、1日100万PV以上のアクセスが集中している状態でもサービスのレスポンス低下やダウンは皆無
    ここが大変だよBigtableとGoogle App Engine

  • App Engineのユニーク制限を正しく理解しよう - ひがやすを技術ブログ

    Google App EngineではRDBMSのようなUnique Indexをサポートしていません。ユニーク制限を実現する場合は、トランザクション中でKeyを使ったgetとputを組み合わせる必要があります。 ここでは、email addressがユニークだったらそれを確定してtrueを返し、そうでない場合にはfalseを返すコードを考えます。 最初にトランザクションを使わないコードを見てみましょう。KeyFactory.createKeyの最初に引数は、kindといってテーブル名みたいなものです。 public boolean putUniqueEmailAddress(String value) { DatastoreService ds = DatastoreServiceFactory.getDatastoreService(); Key key = KeyFactory.cr

    App Engineのユニーク制限を正しく理解しよう - ひがやすを技術ブログ

  • Google App Engine入門：Datastore上で「ユニーク制限」を実現する方法


    Google App Engine のDatastoreには、通常のリレーショナルデータベースと比べた時にいくつかの制限があるが、その一つが﹁このプロパティの値は常にユニークでなければならない﹂という指定︵ユニーク制限︶ができないことである。 Invoice IDのように自動生成するものであれば、アプリケーション側でなんとかすることも簡単だが、メールアドレスやハンドル名など、ユーザーが入力するものになると、ユニークであることをきちんと判定した上でEntityを作ることが必要になる。 もちろん、単純に﹁有無をチェックして、なければ作る﹂というプログラムではスレッド間の競合に対応できないので、そこはトランザクションを使ってアトミックに処理をする必要がある。 App Engine上でトランザクションを実現するには、エンティティグループという仕組みを使って行うが、気をつけなければいけないのは、エン

  • App EngineのEntityGroupを理解しよう - ひがやすを技術ブログ


    App EngineのEntitiGroupは、Keyの親子関係を利用して組み立てられたEntityの集まりです。 Entityとは、Bigtable上の1つの行で、ユニークに識別するためのKeyを持っています。 Keyは、種類をあらわすkindとAppEngineから自動的に採番されるidもしくはアプリケーション側で自由に決めることのできるnameで構成されます。 通常は、AppEngineの自動採番に任せますが、Emailのアドレスをキーに使いたい場合などは、nameを使います。kindはテーブル名のようなものだと思ってください。 Keyの親子関係は次のようにして作ります。 Key grandparentKey = KeyFactory.createKey("Grandparent", "しげお"); Key parentKey = KeyFactory.createKey(grand
    App EngineのEntityGroupを理解しよう - ひがやすを技術ブログ

  • GAEに格納されているデータを調べるには - yuumi3のお仕事日記

    GAE用のソフトを開発する際には、GAEのストレージDatastoreの内容が知りたくなりますよね。http://localhost:8080/_ah/admin をアクセスすると GAE Development Console が起動されDatastoreの内容が表示されます。データ削除も出来ます。 この情報も id:milk1000cc のブログからです m(_ _)m

    GAEに格納されているデータを調べるには - yuumi3のお仕事日記

  • Google App Engineのtips集 - スティルハウスの書庫の書庫

    （随時更新中です。間違いなどありましたらコメントをお願いします！） このページのtinyurl: http://tinyurl.com/gaetips Datastoreのtips Bigtableの内部構造 BigtableによるDatastoreの実装 Datastoreによるクエリの実装 トランザクションとエンティティグループ Datastoreのtips List Proprtyとmerge joinの使い方 GAE一般のtips GAEのサーバー構成とリクエストの流れ Task Queue APIの使い方 開発環境とプロダクション環境の違い Flex/AIR＋GAEのtips GAE/JにBlazeDSを組み込む BlazeDSの本番環境へのデプロイでハマる Datastore APIの取り扱いでハマる App Engine開発の便利な参考ページ TOPGATEさんのGoogle

    Google App Engineのtips集 - スティルハウスの書庫の書庫

  • Google App Engineでオートインクリメントなフィールドを作る方法 - このブログは証明できない。

    おととい作ったGoolge App Engine (GAE)のアプリ。 はてブ Web HookとGAEで「[これはすごい] in リアルタイム」を作った - このブログは証明できない。 pollingして新しく登録されたブクマを取得しています。新しいかどうかを判断するために、ブクマを登録するときにidを振っています。これが、ひと手間。GAEのストレージには、オートインクリメントするフィールドを作る機能がないんです。 そこで、トランザクションを使って、オートインクリメントなフィールドを作る方法。 モデルは2つ。 class GlobalIndex(db.Model): max_index = db.IntegerProperty(required=True, default=1) class Bookmark(db.Model): id = db.IntegerProperty() use

  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.