タグ

kvsに関するcpwのブックマーク (12)

  • kumofsの死活監視はこんな感じでNagiosでやってます - (ひ)メモ

    分散Key-Valueストア「kumofs」を公開しました! - 古橋貞之の日記 \(^o^)/ kumofsは、弊社のフォトストレージサービス Ficia で現在大絶賛モリモリ稼働中なんですが、その死活監視は自家製の Nagios プラグインで行っています。 というわけで、kumofsをサービスで使いたい人の一助になればと思い、ぼくが実際に行っている kumofs の監視について紹介したいと思います。 サーバノードとマネージャノード サーバノードとマネージャノードの監視には、それぞれのノードに対してステータスを問い合わせるコマンドを発行して、その応答で死活を判断するスクリプトを書いて使っています。 kumofs公開記念ということでgithubにpushっておきました。 http://github.com/etolabo/nagios-check_kumofs 問い合わせの処理は、管理用コ

    kumofsの死活監視はこんな感じでNagiosでやってます - (ひ)メモ
    cpw
    cpw 2010/01/19
  • scale out の技術 (in UNIX magazine, April 2009)


    scale out   Last-updated: January 5, 2010 : 稿 , "", , pp.88-101, (), ISBN978-4-04-868064-6, 2009116   Amazon.co.jp   , "", UNIX magazine 20094, pp.78-91, (), 2009318    sca
    cpw
    cpw 2010/01/19
  • http://1978th.net/tech/promenade.cgi?id=44

    cpw
    cpw 2009/12/02
  • David Wallace Croft

    cpw
    cpw 2009/11/30
  • 分散Key/Valueストア、Kaiを使ってみよう! 記事一覧 | gihyo.jp

    運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します⁠。個別にライセンスが設定されている記事等はそのライセンスに従います。

    分散Key/Valueストア、Kaiを使ってみよう! 記事一覧 | gihyo.jp
  • 54行で分散KVSを実装する(レプリケーション機能付き) - Blog by Sadayuki Furuhashi

    Ruby と MessagePack-RPC があれば、簡単なkey-valueストレージは簡単に作れます。54行で書けます(レプリケーションと負荷分散機能付き。サーバー38行、クライアント16行)。 簡単なKVSをベースにして、ログ集計や遠隔デプロイ、遠隔管理機能などの機能を追加していけば、ちょっと便利なサーバープログラムをサクサク自作できるハズ。 この分散KVSは、(keyのハッシュ値 % サーバーの台数)番目のサーバーにkeyを保存します。また、サーバーの名前順でソートしたときの「次のサーバー」と「次の次のサーバー」にデータをレプリケーションします。 すべてのサーバーで同じ設定ファイルを使います。サーバーごとの設定は引数を自分のホスト名に書き換えるだけなので、デプロイが容易です。 MessagePack-RPC for Ruby を使うと、分散しないkey-valueストレージ*1は

    54行で分散KVSを実装する(レプリケーション機能付き) - Blog by Sadayuki Furuhashi
    cpw
    cpw 2009/11/27
  • 範囲検索サポートのKVSなら - 7743のメモ置き場

    はてブエントリ眺めてたら、こんなエントリが出ていてちょっと記憶を掠めたのでコメント。 分散KVSの使い方 - sdyuki-devel http://d.hatena.ne.jp/sdyuki/20091116/1258350905 分散KVSの欠点 * 範囲検索ができない * 単体の効率が悪い * トランザクションが使えない * (実装によっては)正常時にトランザクションを使わない場合でも一貫性の保証が弱い 範囲検索サポートしたKVSならInteropで出てましたですよ。(例によってPIAXがらみですが) http://itpro.nikkeibp.co.jp/article/COLUMN/20090617/331953/?ST=cloud&P=2 100台で1000億エントリを目指していたものの、実際は他チームとのリソース奪い合いによる性能劣化で780億エントリ。マシンがあれば100万

    範囲検索サポートのKVSなら - 7743のメモ置き場
    cpw
    cpw 2009/11/26
  • Bigtable論文を読んだメモ - スティルハウスの書庫の書庫

    Bigtable: A Distributed Storage System for Structured Data をざっと読んだ感想: Bigtableは単なるソートされたkey-valueペアだ Multidimensionalという言葉に惑わされない方がよい レコードをイミュータブルにして履歴を残し、たまにGCするのはpgsqlやInterBaseなどのバージョニング系DBと同じ row keyとcolumn keyを組み合わせて1つのキーをつくり、2次元の表のように使っているが、実態は単なる超巨大なkey-valueペア column familyとかlocality groupも、とりあえず忘れてOK アクセス権チェックとか、でかいBlobだけ遅延読み込みするとか、そういうやつだ Bigtableはこれしかできない keyを指定して特定行をatomicにCRUDする 分散txは

    Bigtable論文を読んだメモ - スティルハウスの書庫の書庫
  • Bigtableと分散KVS - スティルハウスの書庫の書庫


    UNIX managinekey-valuekey-value pairKVSRDBRDB使NoSQL BigtableKVSKVSKVSBigtable KVS使 KVSBigTableCa
    Bigtableと分散KVS - スティルハウスの書庫の書庫
    cpw
    cpw 2009/11/19
  • Bigtableと分散KVS・その2 - スティルハウスの書庫の書庫


     @frsyuki KVSKVSBigTablehttp://bit.ly/IMFUs multidimentionalBigTable Every read or write of data under a single row key is atomic reads of short row ranges are effi
    Bigtableと分散KVS・その2 - スティルハウスの書庫の書庫
    cpw
    cpw 2009/11/19
  • 分散KVSの使い方 - sdyuki-devel


    key-value storagekey-valueKVS WebKVS m(_ _)m 2009-11-17 KVS使KVSDynamo  kumofs  ROMA   KVS     
    分散KVSの使い方 - sdyuki-devel
    cpw
    cpw 2009/11/19
  • NoSQLデータベースを40種類以上リストアップ、キーバリュー型にもいろいろある

    Webスケールのデータを扱うためにさまざまなデータベースが登場してきている、ということを昨日のエントリ「データベースは目的別に使い分けるべし」で紹介しました。 特にリレーショナルモデルをベースとしない、非SQL系(NoSQL)と呼ばれるさまざまな種類のデータベースが登場してきています。非SQL系のデータベースは以前からオブジェクトデータベースやドキュメントデータベース、階層型データベースなどが存在していましたが、最近注目されているのがキーバリュー型データストアと呼ばれるデータベース。 ブログ「High Scalability」にポストされたエントリ「A Yes for a NoSQL Taxonomy」では、これら非SQL系のデータベースを詳細に9分類し、それぞれの分類に属するデータベースをリストアップしています(基になったのは「NoSQL is a Horseless Carriage」

    NoSQLデータベースを40種類以上リストアップ、キーバリュー型にもいろいろある
    cpw
    cpw 2009/11/11
    これはタイムリー
  • 1