[B! TC] sfujiwaraのブックマーク

よくわかるLinux帯域制限 | GREE Engineering

矢口です。みなさんはLinuxのtcという機能をご存知でしょうか。送信するパケットの帯域制御を行うことができる大変強力な機能で、グリーでもいくつかの用途で使用されています。具体的な事例の一つはRedisです。Redisではreplicationを新規に開始する際やfailoverが発生しmasterが切り替わった際(特に2.6系)にストアされている全データが転送されます。しかし帯域制限をかける機能がないため、ネットワーク帯域を圧迫してしまう危険性があります。また通常のクライアントとの通信でも大量のクエリにより予想以上の帯域を使用してしまう可能性があります。このような場合にtcを用いることでRedisの使用する帯域をコントロールできます。このように有用なtcですが残念なことに日本語/英語ともにわかりやすい解説や詳細な情報は多くありません。私も社内において使われていたtcの設定に問題が

sfujiwara 2014/10/08

リンク

LinuxでIPやポート単位で簡単にトラフィックをコントロールしよう

人間とウェブの未来︵旧︶﹁ウェブの歴史は人類の歴史の繰り返し﹂という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。研究でcgroupやCFSを調査しているんですが、トラフィックをコントロールするtcコマンドやqos周りを復習がてら、ツールを作ってみました。簡単という所が重要です。何をするツールかというと、﹁Linuxサーバ上でinboundとoutboundのトラフィック帯域をIPやプロトコル単位で好きなようにコントロールし管理する﹂ためのツールです。これまでのトラフィックコントロールツールを改良とにかく複雑でわかりにくかった印象があります。その結果、トラフィックコントロールを運用に持ち込んでも、うまく管理することができなかったのは容易に想像できます。最初はtcコマンド、次にcbq.initが使われてきました。tcコマンドはわかりにくいのでtcコ

sfujiwara 2012/04/11

リンク

mixi Engineers’ Blog » 言語バインディングを書こう

世田谷の某所から原宿まで自転車通勤しているのですが、そろそろ寒くなってきたので電車に切り替えようかと悩み中のmikioです。今回はTokyo Cabinetのスクリプト言語バインディングについて述べます。スクリプト言語バインディングとは TCはC言語で実装されたライブラリで、C言語（C89、C99）およびC++言語のプログラムから利用することができます。CやC++は各種の計算処理やシステムコールの呼び出しを直接的に記述できるので高速に動作するプログラムを作ることができる反面、ポインタ演算やメモリ管理などで致命的なバグを潜ませやすいので非常に注意深くコーディングを進めなければいけません。つまり、プログラムの実行速度は速いが、開発速度は遅いということです。それに対して、PerlやRubyをはじめとするいわゆるスクリプト言語は、実行速度はCやC++に劣るものの、高水準かつ直感的な文法と強力な

sfujiwara 2007/11/09

リンク

mixi Engineers’ Blog » Inside Tokyo Cabinet その五

先日、MySQL Conferenceという催しに行ってきました。そこでMySQLの開発者のBrian Aker氏およびMichael Widenius氏と話をする機会があったのですが、やっぱしトップランナー達と議論するのは刺激になるなぁと思ったmikioです（その時の資料）。さて、一連の連載も今回が感動の最終回で、TCの性能上の蘊蓄をお届けいたします。なぜdynamic hashingを使わないか Brianさん達とTCの実装についても少し議論したのですが、その際にdynamic hashingをなぜ使わないのかと問われました。その背景として、TCやQDBMではハッシュのバケット数（＝格納するレコード数を予測してその数倍に設定すべき値）をデータベース作成時に指定しなければならないという問題があります。バケット数が大きすぎると空間効率が劣化し、小さすぎると時間効率が劣化するというトレード

sfujiwara 2007/09/25

TC
dbm

リンク

Inside Tokyo Cabinet その参 - mixi engineer blog

この連載のように小難しい記事が続くと、読者の皆さんだけでなく執筆陣まで引いてしまうのではないかと心配しているmikioです。いやいや、いいんです。ハッキングから夜のオカズまでバラエティに富んだブログを目指すべく、私は私なりの記事を、たとえマイノリティ向けだとしても臆さず書いてゆくのです。今回はTCの実装の詳細についてお届けします。QDBMとどう違うの? QDBMもTCと同様にDBMの一実装で、小さくて速くて使いやすいをモットーに作りはじめて、それなりに目標を達成できたと自負しているプロダクトです。しかし、今思えばいろいろと気に入らない点がいくつかありました。TCはそれを克服すべく一から書き直したものです。具体的には以下の点が違います。空間効率の向上 : データベースファイルのサイズがもっと小さい時間効率の向上 : 読み書きにかかる時間がもっと短い耐障害性の向上 : データベースファ

sfujiwara 2007/09/03

dbm
tc

リンク

mixi Engineers’ Blog » Inside Tokyo Cabinet その弐

予定を立てた途端にやりたくなくなる症候群に堪えて連載を続けるmikioです︵こんな私でもエアーマンくらいは倒せます︶。前回はDBMの基本について説明しましたが、それを忠実に実装しても実際には使いものにはならないことにも触れました。今回は、実用的なDBMに進化すべく、Tokyo Cabinet︵およびその前身のQDBM︶で考えた工夫についてお話します。ハッシュ関数についてもう少し前回の記事に関して、﹁ハッシュ関数はビットシフト使って実装した方が早いよ﹂という旨のお便りをいただきました︵ありがとうございます︶。まさにその通りで、乗算命令︵ここではimull︶より左シフト命令︵ここではsall︶の方が速いみたいです︵Intelの資料によると、mulが15から18で、salが4とのこと︶。しかし、DBMの場合はファイルI/Oにかかる時間が支配的になるというのが重要な点です。したがって、ハッシュ

sfujiwara 2007/08/29

TC
dbm

リンク

Inside Tokyo Cabinet その壱 - mixi engineer blog

約半年間の沈黙を破ってOSSの世界に戻ってきつつあるmikioです。先日、Tokyo Cabinet︵以下﹁TC﹂と呼びます︶というデータベースライブラリをリリースしました。今回から数回に分けて、TCの設計と苦労話について連載してみます。 DBMとはTCは、いわゆるDBMの系譜のデータベースライブラリで、単純なハッシュテーブルをファイル上で永続化するだけの機能を提供します。DBMはAT&Tの古代UNIXの時代から受け継がれる伝統芸能なのですが、私はそういう枯れた技術が大好きなのです。プログラマの皆さんは、PerlやRubyではハッシュ︵連想配列︶と呼ばれ、JavaやC++ではmapと呼ばれるような、何らかのキーに関連づけてなんらかの値を記録するデータ構造って実によく使いますよね。例えばmixiでは、ユーザアカウントに関連する情報︵名前とかニックネームとか︶は、ユーザIDをキーにしたハッ

sfujiwara 2007/08/21

リンク

はてなブックマーク

タグ

関連タグで絞り込む (11)

TCに関するsfujiwaraのブックマーク (7)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス