ブックマーク / okachimachiorz.hatenablog.com (2)
-
Asakusaのドキュメントを大幅に見直し+追加しました。自分の担当は設計関連の部分だったので、その辺の“あとがき”的なものを以下。自分で書いて気になったところもまとめて置く感じで。 http://www.asakusafw.com/techinfo/methodology.html 1.設計手法について 理論的な背景はともかく、業務バッチ処理をどのように設計するか、ということについての一つの﹁やり方﹂を書きました。これは完全に経験則と過去の方法論の掘り起こしによるものです。基幹バッチ処理をデータフローで、ゼロから設計するという手法は、周りを見るところ、ほぼ完全なロスト・テクノロジーになってしまっていて、ちょっと見当たらないです。︵調査が足りないという話もありますが︶ データフローベースの、︵有り体にいうとCOBOLライクな環境での︶バッチの作成は、現状では、メンテナンスで既存に手をいれる
-
次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの﹁OSSインフラ﹂としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能性があるOSSはHadoopの潮流の延長線上にしか考えられない。その形としてHadoop-MapReduce2.0があるように見える。現在の状態で自分なりの次世代Hadoopの理解をまとめておく。基本的に全部は見切れていないので、そのあたりはあしからず。基本的に次世代Hadoopの仕組みは大きく二つの要素からなる 現在のところの柱はHDFSとMapreduce2.0の二つだ。 まずMapReduce。これは従来の﹁MapReduce﹂というものからはほど遠い。むしろ﹁任意﹂の分散処理実行フレームワークにたいして、適切なリソースを
-
1