[B! dfs] sfujiwaraのブックマーク

sfujiwara id:sfujiwara

dfsに関するsfujiwaraのブックマーク (6)

分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。メタデータサーバとストレージノードが分かれたアーキテクチャメタデータサーバはPostgreSQLで動くメタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる︵！︶レプリケーション可能。しかもファイル単位で設定できる︵！！！︶巨大なファイルを複数ノードに分散させることも可能分散処理コマンドが豊富。gfgrepなんてもうシビれる並列分散処理のための基盤としても使うことができるなどなど、すてきな機能が盛りだくさん詳しくはGfarm Workshopのページに資料
sfujiwara 2007/02/16
dfs

filesystem

gfarm
リンク
Gfarm
Gfarm ファイルシステムは，次世代ネットワーク共有ファイルシステムで，オープンソースソフトウェアで開発が進められています．NFS の代替として，また，より大容量，高信頼，高性能という要求に低コストで応えます． News [08/6/8] Sourceforge.netでCommunity Choice Awards のノミネーションが始まっています．清き一票をよろしくお願いします． [08/5/27] Gfarm version 2.1.0 を公開しました． [07/12/5] 情報処理学会HPC研究会で発表予定の Gfarm v2の論文を公開しました．ソフトウェアダウンロードドキュメントバグトラッキングシステムメーリングリスト SourceForge プロジェクトページ
sfujiwara 2007/02/16
dfs

filesystem

gfarm
リンク
lustre - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解しますトップページページ一覧メンバー編集 lustre 最終更新： linuxfs 2007年01月02日(火) 11:49:37履歴 Tweet FrontPage 詳解Lustre 詳解Lustre Lustreとは Lustreの特徴1 Lustreの特徴2 Lustreの特徴3 lustreの使い方詳解その他諸元(2006/03/28 現在) Lustreとは Lustreとは、Cluster File Systems, Inc.がGPLに基づいて配付している、クラスタファイルシステムです。~ POSIXに準拠しています。~ ライセンス　　: GNU GPL~ 作者　　　　　: Cluster File Systems, Inc.~ ホームページ　: http://www.lustre.org/ ~ https://mai
sfujiwara 2007/02/15
dfs

filesystem

lustre
リンク
Lustreファイルシステムの概要
Lustreファイルシステムの概要藤原樹，廣安知之，三木光範 ISDL Report No.20040803002 2004年6月28日 Abstract 本報告ではLustreファイルシステムの概要について調べる．Lustreファイルシステムとは既存のNFSやAFSのような分散ファイルシステムでは対応できない大規模クラスタなどのシステムのために開発されているオープンソースの分散ファイルシステムである． 1 はじめに近年，並列計算に用いられるクラスタが大規模化し，クラスタを構成するノード数が増加している．クラスタにおいて広く用いられている分散ファイルシステムのNFS，AFSを用いた場合，NFSサーバ1台に対してNFSクライアントが複数マウントするため，マウントするノード数の増加に伴いサーバに対する負荷が増大し，I/Oスループットが低下してしまう．また膨大な計算結果を出力する
sfujiwara 2007/02/15
dfs

filesystem

lustre
リンク
分散ストレージについて再び(1) - pekeqのブログ
まず以前の私の記事でLustreを推していたが、これは撤回すべきだと思う。日本でLustreを本気で使っている組織のひとつに東工大がある。東工大はTsubameクラスタでLustreを使っているのだが、TSUBAMEグリッドクラスタのページを見てほしい。/work, /work2の障害のお知らせが定期的に載っているのがわかるだろうか。この/work, /work2というのがLustreで提供されているボリュームで、見てわかるように、とても頻繁に障害が起きている。障害の主な原因のひとつは、LustreがノードをRAID0でまとめていることと、メタデータサーバが頻繁に止まってしまうことに起因しているようだ。RAID0の場合、ディスクが1台でも止まると、ボリューム全体にアクセスできなくなる。これと同じことがLustreではノードで発生し、ストレージノードが一台止まると、クラスタごと止まってし
sfujiwara 2007/02/14
dfs

filesystem

lustre
リンク
クラスタファイルシステム「lustre」を触ってみます : DSAS開発者の部屋
負荷分散環境では必須ともいえるネットワークストレージですが、皆様の環境ではどのようなものをお使いでしょうか。「ファイル共有なんてなくしてしまえっ！！」って言いたくなることも時々あったりしますが（笑）、画像などの素材データ類はDBに格納するよかファイルとして扱う方が運用上楽だったりするので、そう簡単に抹殺するわけにもいきません。 DSASではDRBDで冗長化したNFSサーバ（もちろんLinuxベース）をネットワークストレージとして使っていますが、構成上どうしても特定のサーバに負荷が集中しがちになるのが悩みの種です。特にせっぱ詰まって困ってる訳ではないのですが「どーしたもんかなあ」と物思いにふけっていると、いつもお世話になっている協力会社の方から「lustreってのもあるよん」と教えてもらったので軽く調べてみました。これはなかなか楽しそうなクラスタファイルシステムじゃあないですか！ lus
sfujiwara 2007/02/14
dfs

filesystem

lustre
リンク
1