タグ

関連タグで絞り込む (14)

タグの絞り込みを解除

key-valueに関するjitsu102のブックマーク (20)

  • Cassandra vs Riak vs Redis 〜 NoSQLの性能を比較してみた

    CassandraとRiakとRedis、どれが一番速いのかなーってことで性能を比較してみました。 後ほど詳しく書きますが、若干Redisに有利なベンチマークの取り方しています。 各ミドルウェアの条件と特徴はこれ。 アーキテクチャ比較 version: 2.0.5 構成: cluster depend: Java, Python データモデル: カラム指向 アーキテクチャ: Gossip ノード管理: 設定ファイル/コマンド/GUI 無停止ノード管理: 無停止 CUIクライアント: cqlsh 管理ツール: 付属のweb ui Cassandraのインストール〜クラスター構築はこちらをどうぞ。 Cassandra2系のクラスターをRHEL系LInuxに構築する version: 2.0.0pre11 構成: cluster depend: Erlang データモデル: Key-Value

  • Google Code Archive - Long-term storage for Google Code Project Hosting.

    Code Archive Skip to content Google About Google Privacy Terms

  • AWS News Blog

    AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz

  • Project Voldemort

    Voldemort is a distributed key-value storage system Data is automatically replicated over multiple servers. Data is automatically partitioned so each server contains only a subset of the total data Server failure is handled transparently Pluggable serialization is supported to allow rich keys and values including lists and tuples with named fields, as well as to integrate with common serialization

  • 分散 Key-Value ストア mio-0.0.1alpha をリリースしました - higepon blog


    分散 Key-Value ストア mio-0.0.1alpha をリリースしました。(mio-0.0.1-alpha.tar.gz) Mio とは何か？ 範囲検索(range query) が出来る KVS です。例えば﹁key が "1000"〜"2000" にあるものを昇順に10件取り出す﹂という検索が可能です。 Mio はmemcached 互換プロトコルを実装しているので、多くのプログラミング言語から簡単にアクセスする事が可能です。︵後述のコード例参照︶ Mio のアーキテクチャ Mio は Skip Graphs︵スキップグラフ︶というアルゴリズムに基づいて実装されています。詳細はErlang 分散システム勉強会での発表資料 Mio - a distributed Skip Graph based orderd KVSをご参照ください。 インストール 最新の Erlang をイ
    分散 Key-Value ストア mio-0.0.1alpha をリリースしました - higepon blog
    jitsu102
    jitsu102 2010/09/08
    範囲検索が出来るKVS。memcached互換。
    リンク

  • Legacy Communities - IBM Community

    If you’re looking for a developerWorks forum — Don't panic! You are in the right place. You are here because specific IBM developerWorks forums, blogs and other Connections content have been decommissioned. This page will help you find the content you are looking for, get answers to your questions, and find a new community to call home. Where am I? You are on the IBM Community area, a collection o

  • kumofsはなぜスケールするか - Blog by Sadayuki Furuhashi


    先日、分散Key-valueストア kumofs を公開しました。 多く方から反響とフィードバックをいただいています。ありがとうございます。 今回は、kumofs はなぜスケールするのか、なぜスケールすると言えるのかーということについて紹介したいと思います。 ところでスケーラビリティとは何か？ スケーラビリティとは、利用者や仕事の増大に適応できる能力・度合い とされています︵端的！︶*1 。Scalabilityを日本語にすると、拡張性 と訳されるようです。 ただ一口でスケーラビリティと言っても、様々な側面があります。ITシステムでは主には処理性能と運用に関することを指す場合が多いと思いますが*2、その中にも様々な側面があります。 なぜスケーラビリティが必要か スケーラビリティは システムなどが持つべき望ましい特性 であって、高いに越したことはありません。しかし、高いスケーラビリティはタ
    kumofsはなぜスケールするか - Blog by Sadayuki Furuhashi

  • x.com

  • 分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi

    分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装

    分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi

  • Kazuho@Cybozu Labs: 高度に進化した分散データストアは RDBMS と見分けがつかない？ (shibuya.pm #12 スライド)


    開発しているシャーディングミドルウェアである Incline と Pacific についてはYAPC::Asia 2009 を始めいろいろな所で話をする機会をいただいてきたので、今回は、なぜ RDBMS ベースのアプローチを採用したのかという背景を中心に説明させていただきました。概念的な話が多くて分かりにくかったと思います︵すみません︶が、細かな点についてはパフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)を参照いただければと思います。 また、中で出てきた﹁実体化ビュー﹂については、Materialized view - Wikipedia, the free encyclopediaが良くまとまっているかと思います。Incline は一言でいうと、RDBで構成されるshard群の上で read-only かつ eventually co

  • もう1つの、DBのかたち、分散Key-Valueストアとは


    もう1つの、DBのかたち、分散Key-Valueストアとは‥分散Key-Valueストアの本命﹁Bigtable﹂︵1︶︵1/3 ページ︶ RDBとは別の、クラウド時代のデータベースとして注目を浴びている﹁分散Key-Valueストア﹂。その本命ともいえる、Googleの数々のサービスの基盤技術﹁Bigtable﹂について徹底解説 クラウド時代のデータベース﹁分散Key-Valueストア﹂ グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、﹁Bigtable﹂にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
    もう1つの、DBのかたち、分散Key-Valueストアとは
    jitsu102
    jitsu102 2009/07/03
    出来損ないの群体として行き詰まったITシステムを、完全な単体インフラへ人工進化させる
    リンク

  • 第5回　gooホームにおけるKaiの運用例 ─監視や統計情報の活用 | gihyo.jp

    Kaiにtelnetで接続してstatsコマンドを送っても値を確認できますが、ここではPHPのmemcached実装を使ってみましょう。リスト1のような簡単なPHPスクリプトを実行すると以下のような結果が得られます。 リスト1　kai_stats.php <?php $host = "localhost"; $port = 14013; $memcache = new Memcache; $memcache->connect($host, $port) or die ("Could not connect"); $status = $memcache->getStats(); print_r($status); ?> リスト1の実行結果 $ php kai_stats.php Array ( [uptime] => 1077608 [time] => 1246117054 [version

    第5回　gooホームにおけるKaiの運用例 ─監視や統計情報の活用 | gihyo.jp

  • mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する : blog.nomadscafe.jp


    mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する Apacheのmod_cacheのキャッシュ保存先にmemcachedが使えればいいのにと長年思ってきましたが、mod_libmemcached_cacheがそれを実現してくれました。 しかも、libmemcachedを利用しているので、性能も高く、またConsitent Hashingも使えますし、バイナリプロトコルもばっちりです。 図にするとこんな感じ。revserse proxyのcacheがmemcachedになるので、cache効率が上がり、またApplicationサーバからも同じmemcachedが参照できるのでcacheを変更したりできるかもしれません。 導入 mod_libmemcached_cacheはgithubから入手できます http://github.com/a

  • 第4回　Kaiの詳細（2）―Kaiの設定をチューニングする | gihyo.jp


    今回は、Kaiの設定とチューニングについて詳しく説明します。 なお、本連載が対象とするKaiのバージョンは0.4、ErlangのバージョンはR13Bです。 データ管理の単位 ＝ バケット ここでは、Kai設定ファイル内の number_of_bucketsについて説明します。 number_of_bucketsは、ノード間での負荷の偏りや、データ配置の計算コストを調整するために使用します。ノード数が数十程度であれば、デフォルト設定のまま変更する必要はありません。Kaiでは、担当ノードの決定やデータの再配置を行なう際、効率を高めるため、データをバケットという単位でまとめて扱います。バケットとは、32ビットのハッシュ空間をnumber_of_bucketsに指定された値で均等に分割したものです。 図1　ハッシュ空間とパケットの関係 バケット数︵number_of_buckets︶が少ないと
    第4回　Kaiの詳細（2）―Kaiの設定をチューニングする | gihyo.jp

  • memcachedを超える成果も、Interopで若手技術者がクラウドを支える技術を競う


    ﹁日本でゼロからクラウドを生み出すムーブメントを作り出したい﹂︵実行委員長 門林雄基氏︶---“クラウドを支える技術”の開発力を競う﹁クラウドコンピューティングコンペティション﹂が2009年6月11日、Interop 2009の会場で開催された︵写真1︶。企業や大学・大学院の研究者、そして高校生を含む若手エンジニアが、新しいアイディアと技術力で作り上げたクラウドコンピューティングの基盤ソフトウエアを披露した。 クラウドコンピューティングコンペティションは、奈良先端科学技術大学院大学の門林雄基准教授らの呼びかけで実現したイベント。若手のエンジニアがP2P︵ピア・ツー・ピア︶技術や分散データ処理技術といったクラウドコンピューティングの基盤技術を開発し、その成果を競う。検証環境として、情報通信研究機構︵NICT︶が運用するクラスタ環境﹁StarBED﹂のコンピュータを最大1000台まで使用可能で
    memcachedを超える成果も、Interopで若手技術者がクラウドを支える技術を競う

  • 第2回　Kai の基礎 ─Kaiのインストールと基本的な使い方 | gihyo.jp

    また、Erlangの公式サイトではWindows向けにインストーラ付きのバイナリも提供されています。 ここでは、公式サイトからソースコードをダウンロードし、CentOS 5.3上でコンパイルする方法を説明します。 なお、執筆時のErlangの最新バージョンはR13Bであるため、本連載ではR13Bを用いて説明します。しかし、Kaiの推奨バージョンはR12B以上ですので、ご利用のプラットフォームが提供するErlangパッケージのバージョンがR12B以上であれば、そちらをご利用されても差し支えありません。 もし、パッケージからErlang をインストールするのであれば、インストールの説明をスキップし、Erlang VMの起動まで進んでください。 Erlangのソースコードは、Erlangの公式サイトから取得できます。 ダウンロードページからR13Bのソースコード（53.1 MByte）をダウンロ

    第2回　Kai の基礎 ─Kaiのインストールと基本的な使い方 | gihyo.jp

  • 第3回　Kaiの詳細（1） ─Kaiの要であるクラスタを極める | gihyo.jp


    前回、Kai のインストールと基本的な使い方を説明しましたので、今回は、Kai最大の特徴であるクラスタついて詳しく説明します。 なお、前回同様、本連載が対象とするKaiのバージョンは0.4、ErlangのバージョンはR13Bです。 データの保存・取得とリクエストの転送memcachedでは、クライアントがデータの場所を決定します。このため、クライアントは、クラスタを構成するすべてのmemcachedノードを把握していなければなりませんでした。 一方Kaiでは、ノードがデータの場所を決定し、クライアントからのリクエストを適切なノードに転送します。クライアントは、すべてのノードを把握する必要がありませんし、L4ロードバランサで機械的に負荷分散することもできます。また、クラスタへノードが追加されても、クライアントのノード一覧を修正する必要がありません。 では、前回、構築した3ノード構成のクラス
    第3回　Kaiの詳細（1） ─Kaiの要であるクラスタを極める | gihyo.jp

  • 第1回　 Kaiとは？ ─Kaiのコンセプトとメカニズム | gihyo.jp


    今回から数回にわたり、Kaiという分散Key/Valueストアについて解説させていただきます。 まず、第1回では井上がKaiのコンセプトをご紹介します。次回以降は、Kai開発者の一人である幾田さんがKaiの利用方法について解説します。最終回では、gooホームでKaiを運用している橋本さんから、Kaiの運用方法について紹介していただく予定です。なお、本連載が対象とするKaiのバージョンは0.4です。KaiとはKaiとは、分散型のKey/Valueストアです。Amazon.comが2007年に発表したDynamoというシステムに触発されて、そのオープンソース版として開発されています。Kaiをバックエンドに据えてWebサイトを構築することで、高いスケーラビリティやアベイラビリティを実現できます。2009年5月には、gooホームのバックエンドに導入され、運用実績も高まってきました。Kaiは多
    第1回　 Kaiとは？ ─Kaiのコンセプトとメカニズム | gihyo.jp

  • Key-Value Store 勉強会を開催しました。 - moratorium

    Key-Value Store 勉強会を開催しました。 2009-02-26 (Thu) 3:08 勉強会 もう先週の金曜日になりますが、Key-Value Store勉強会というのを開きました。 既に素晴らしいまとめエントリが有りますので、詳細はこちらをご覧下さい。 Key-Value Store勉強会に行ってきました by katsumaさん Key-Value Store勉強会 by shudoさん はてなブックマーク「kvs」タグ UStream録画動画 by ichiiさん 日経BP社 中田さまには、草の根的勉強会にも関わらず、記事にして頂きました。有難うございます。 「キー・バリュー型データストア」開発者が大集合した夜 また、講師の方々に発表資料等をアップロードして頂いております。 末永さん: 全文検索エンジンgroongaをテストリリースしました 山田さん: About L

  • 「キー・バリュー型データストア」開発者が大集合した夜


    ﹁発表者が自分よりも若い人ばかりだ﹂。外見が20代にしか見えない東京工業大学の首藤一幸准教授︵1973年生︶の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する﹁キー・バリュー型データストア﹂を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア︵またはキー・バリュー型データベース︶は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された﹁Key-Value Store 勉強会﹂に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー︵PFI︶最高技術責任者
    「キー・バリュー型データストア」開発者が大集合した夜
  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.