[B! mixi][memcached] jhoshinaのブックマーク

jhoshina id:jhoshina

mixiとmemcachedに関するjhoshinaのブックマーク (4)

mixi大規模障害について解明編 - mixi engineer blog
こんにちは、システム本部技術部たんぽぽGの森本です。先日のmixi大規模障害の原因となったmemcachedの不具合の詳細な解明ができました。再来週まで発表を見合わせようと思ったのですが、早くお伝えしたほうがいいと思いましたので公開発表致します。memcachedとlibevent memcachedはlibeventというライブラリを使用してクライアントからの要求(接続、コマンド送信)を処理しています。 libeventを使用するにはevent_baseという構造体を用います。main threadはmain_baseを使用します。 static struct event_base *main_base; ... int main (int argc, char **argv) { ... main_base = event_init(); ... /* enter the ev
jhoshina 2010/08/24
mixi

memcached
リンク
mixi大規模障害についてその2 - mixi engineer blog
こんにちは。システム本部技術部たんぽぽGの森本です補足を追記しました (2010/08/20 15時) 先日のmixi大規模障害についての続報です今回は小ネタはありませんはじめにまず初めにtwitter/blogなどを通じて今回の問題の解析を行っていただいたみなさんに感謝の言葉を捧げたいと思います kzk_moverさん stanakaさん mala(bulkneets)さん llameradaさん (順不同) ありがとうございました書き漏らした人ごめんなさい memcachedはすごい今回の件でmemcachedに対して不安感を持たれた方もおられるとお聞きしました説明不足だったせいで誤解を与えてしまい申し訳ありませんきちんと設定および監視を行っていれば通常の使用にはまったく問題はありません弊社にて -c 30万で起動したmemcachedに対して、先のテストスクリプトに
jhoshina 2010/08/20
memcached

mixi
リンク
mixi大規模障害について - mixi engineer blog
こんにちは。システム本部技術部たんぽぽGの森本です先日のmixi大規模障害についてのブログです。はじめにお断りしておきますが、弊社CTOがtwitterで公開した以上の情報はまだ得られておりません。 twitterでは書ききれなかった細部を補足してみたいと思います現状判明しているのは以下の点ですmemcachedに大量の接続・切断を行うとmemcachedプロセスが突然終了することがあるmemcachedには異常時に終了するフローもあるが、同時に出力されるはずのエラーログは出ていなかった coreも出力されていなかったテスト環境にて追試を行ったところ、なんどか再現させることができましたが、確実に発生する条件は未だ不明です。障害時のmemcachedのバージョンは1.4.4, libeventのバージョンは1.3bですmemcached の起動オプションは以下のとおり ./
jhoshina 2010/08/20
memcached

mixi
リンク
mixiがはまったmemcached(or libevent?)の問題を調べる人たち
Neal Sato @nealsato 二日とも複数台のmemcachedが連続して落ちました。コアは吐かずにストンと落ちるので、原因追及に時間がかかりましたが、memcachedへの接続数が異常に多いと落ちる事は再現できました。 #mixi 2010-08-12 02:33:00 Neal Sato @nealsato memcachedが大量の接続を受けると突然停止をするので、memcachedへの接続数を減らし安定運用中。外部からの過剰アクセスではなく、サーバ追加→クライアント数増加→停止。 2010-08-12 08:45:50 Masahiro Nagano / 長野雅広 @kazeburo ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60とし
jhoshina 2010/08/13
mixi

memcached
リンク
1