[B! scalability] TAKESAKOのブックマーク

データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ

サーバを安全に運用する施設として構築されるデータセンターですが、グーグルではそのデータセンターですら"落ちる"ことがあると想定してアーキテクチャを構築しています。米グーグルが今年の5月に行ったイベント﹁Google I/O﹂で、同社のGoogle App Engine datastore leadであるRyan Barett氏が行った講演﹁Transactions Across Datacenters (and Other Weekend Projects)﹂のビデオがYouTubeで公開されました。 Barett氏は、担当しているGoogle App Engineのデータベースに関してグーグルが﹁multihoming﹂︵マルチホーミング︶と呼ぶ複数のデータセンターを用いた処理を実現している理由として、データセンターが自然災害や停電に見舞われたり、メンテナンスなどによるデータセンターの

TAKESAKO 2009/09/01

リンク

DBMによるデータベースサーバ - mixi engineer blog

DSのスターフォックスというゲームにはまりまくりのmikioです。最近社内外で﹁俺ストレージサーバ﹂を作るのが流行っているようなので私も参戦してみました。今回はDBMのネットワーク層をほぼスクラッチで作った話をします。 Tokyo Tyrant Tokyo Tyrant︵以下TT︶はTokyo Cabinet︵以下TC︶をラップしてネットワーク越しに操作できるようにするツールです。キャビネット︵内閣︶を傀儡にするタイラント︵僭主︶ということで名付けました。ダウンロードはこちら。TCは高性能なDBMで、マルチスレッドモデルで高い並列性を実現していますが、逆にマルチプロセスモデルだとファイルロックがかかるので並列性が低くなってしまいます。つまり、書き込みモードでデータベースにアクセスしているプロセスがいると、その間は他のプロセスがデータベースに接続しようとするとブロックされることになります。

TAKESAKO 2008/01/27

リンク

ディベート: 何故ほとんどの大規模webサイトはJavaで構築されないのか？

Spring BootによるAPIバックエンド構築実践ガイド第2版何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

TAKESAKO 2007/11/01

リンク

Scaling Twitter: Making Twitter 10000 Percent Faster - High Scalability -

Update 6: Some interesting changes from Twitter's Evan Weaver: everything in RAM now, database is a backup; peaks at 300 tweets/second; every tweet followed by average 126 people; vector cache of tweet IDs; row cache; fragment cache; page cache; keep separate caches; GC makes Ruby optimization resistant so went with Scala; Thrift and HTTP are used internally; 100s internal requests for every exter

TAKESAKO 2007/10/04

リンク

Apache Performance Notes

Apache Performance Notes Author: Dean Gaudet Introduction Hardware and Operating System Issues Run-Time Configuration Issues Compile-Time Configuration Issues Appendixes Detailed Analysis of a Trace Patches Available The Pre-Forking Model Introduction Apache is a general webserver, which is designed to be correct first, and fast second. Even so, its performance is quite satisfactory. Most sites ha

TAKESAKO 2007/09/28

おお

リンク

mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法－ TechTargetジャパン

日記だけで4億件のデータミクシィが運営するSNS﹁mixi﹂は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率︵ログイン間隔が3日以内︶は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。ミクシィは、﹁LAMP︵OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python︶﹂と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア︵以下、OSS︶でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている︵広告配信など周辺機能では

TAKESAKO 2007/09/12

リンク

twitterブームの陰で注目を集める“Erlang” －＠IT

2007/04/27 “twitter”がブームだ。140バイト以内の短いメッセージで“現在進行形”の自分のステータスをほかのユーザーとシェアするだけのオンラインサービスだが、本国の米国はもとより、日本でも非常な人気を集めている。Alexaでアクセス数の推移を調べると、今年に入ってから本格的にブレークしている様子が分かる。4月22日にはニューヨークタイムズもtwitterと、サンフランシスコ在住の創業者2人を記事で取り上げている。 twitterのコミュニケーションツールとしての新しさ twitterに参加してみると、チャットやメール、SNSといった、既存のコミュニケーションツールのいずれとも異なる、不思議なつながり方が新鮮で楽しい。熱心にメッセージを更新するユーザーを見ていると、CUSeeMe、ICQ、mixiなどが登場したときに人々が示した熱狂に近いものを感じる。 twitterでは、

TAKESAKO 2007/05/01

リンク

Scaling Twitter » SlideShare

Scaling Twitter - Slides for a talk presented at the SDForum Silicon Valley Ruby Conference 2007 on Twitter's challenges scaling Rails.Read less

TAKESAKO 2007/04/30

リンク

MySQL Conference & Expo 2007 - とあるはてな社員の日記

一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッションでした。あとは、http://www.mysqlperformaceblog.com/の人のセッションは、細かいTipsが多く、具体的にだいぶ役に立ちそうです。というわけで、簡単に注目したセッションの内容を紹介してみます。ちなみに、内容の正確さは無保証です:P 気が向けば、もっといろいろ考察してみるかもしれません。 Techno logy at Di

TAKESAKO 2007/04/28

オフレポ

リンク

はてなブックマーク

タグ

関連タグで絞り込む (17)

scalabilityに関するTAKESAKOのブックマーク (9)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス