[B! memcached] kazuph1986のブックマーク

kazuph1986 id:kazuph1986

memcachedに関するkazuph1986のブックマーク (38)

Railsでキャッシュにmemcachedを使う | 自転車で通勤しましょ♪ブログ
現在作っているプロジェクトの高速化のために、キャッシュの利用を考えたのですが、本番環境としてherokuを検討しているので、herokuでmemcachedが使える方法を模索していました。ちなみにherokuではmemcachedのadd-onが2つあります。MemCachier Memcached Cloud 今回は料金の安い方のMemCachierを使う事にしてみます。 Rails3,4での導入方法は、Heroku DevCenterに書かれています。Gemfileに以下を追加。gem 'memcachier'gem 'dalli' そしてインストール。 bundle install そしてcache_storeにdalliを設定します。 config.action_controller.perform_caching = true config.cache_store = :
kazuph1986 2014/07/02
memcached

Rails

cache
リンク
memcached おすすめ起動オプションまとめ - blog.nomadscafe.jp
ここを書き直して転載memcachedに関する記事は﹁第1回　memcachedの基本‥memcachedを知り尽くす｜gihyo.jp … 技術評論社﹂など何回か書いていますが、最近のmemcachedでの起動オプションのおすすめをまとめてみようと思います。なおこの記事はMemcached Advent Calendarではありません。まとめるとこんな感じです。 $ memcached -v -p 11211 -U 0 -u memcached -m 1024 \ -c 100000 -t 4 -C -B ascii ひとつずつ簡単に紹介します。 -v ログ出力ログを verbose モードで起動します。エラーや警告が表示されます。弊社ではmemachedをdaemontools経由で起動し、ログを記録しています。 -v -vオプションは -vv、-vvv とvの数を増やす事で
kazuph1986 2013/12/13
memcached

Advent Calendar

memcache

サーバ

サーバ構築
リンク
memcached API で Riak を叩けるようになりました - kuenishi's blog
その名もダイコーン。まずはget, set, delete だけなんですが、とりあえず適当に作ってもMemcachedの速度の1/40くらい出ます。そのうちいろんなデータベースのAPI備えて、クライアント側を書き換えなくてもRiakを叩けるようにしたいなーと思っています。memslapの結果だと $ ./clients/memslap --servers=localhost:11211 --non-blocking --concurrency=10 とするとmemcached dicorn/mem dicorn/riak 1.987 2.705 88.487 てな感じです︵単位は秒︶。構成としては1プロセスで動くただのプロキシで、メモリもCPUもほとんど使いません。Memcachedがいたところに代わりに立ち上げて、Riakの場所を教えてあげるとそれだけでMemcachedとして動いて
kazuph1986 2013/09/07
memcached

api

go

golang

riak
リンク
yrmcds by cybozu
yrmcds memcached compatible KVS with master/slave replication View on GitHub Download .zip Download .tar.gz yrmcds is a memory object caching system with master/slave replication. Currently, yrmcds supports two protocols: the first is an enhanced memcached, and another is a protocol to implement distributed resource counters. Since the memcached protocol is perfectly compatible with the original i
kazuph1986 2013/07/13
memcached

memory

distributed

development

nosql

yrmcds
リンク
Cache::Memcached::Fast::Safe - preventing memcached injection - Hateburo: kazeburo hatenablog
Cache::Memcached::Fast::Safe is subclass of Cache::Memcached::Fast. Cache::Memcached::Fast::Safe sanitizes all requested keys for against memcached injection probl em. and call disconnect_all automatically after fork for fork-safe. https://metacpan.org/module/Cache::Memcached::Fast::Safe use Cache::Memcached::Fast::Safe; my $memd = Cache::Memcached::Fast::Safe->new({ servers => [..] }); Cache::Memc
kazuph1986 2013/07/04
memcached

cache
リンク
Harriet ーテストのときつかうにデーモンの取扱を簡単にするためのフレームワーク - tokuhirom's blog
https://github.com/tokuhirom/Harriet/https://metacpan.org/module/TOKUHIROM/Harriet-0.01/lib/Harriet.pmテストのときにつかう mysqld, memcached, stf, groonga あたりのデーモンを、.t 単位で起動していては遅くてかなわない。かといって、あらかじめ起動させておくというのも。。というわけで prove のプラグインとしてよしなにする、みたいなのをがんばってかく、というような試みがおこなわれてきたわけですが、どうもめんどくさい。なんか適当にやったらうまくうごく、っていうかんじのカジュアルなツールがほしいな、なんておもったりするわけですよそこで、Harriet ってのをつくってみました。なんかこう、t/harriet/mysqld.pl っていうファイル名でこん
kazuph1986 2013/05/16
memcached

port

https

perl

tokuhirom
リンク
数字を出力するコマンドを定期的に実行して、秒間の変化量を memcachedプロトコルで取れるサーバを書いた - blog.nomadscafe.jp
Nagiosを使っていると、その瞬間の絶対値だけじゃなく、差分や変化量を取得してその数値を監視したくなりますよね。ならないとしたら、今すぐこの記事を読むのをやめて病院に行って下さい。 Nagiosで変化量を測定するには、プラグインの中で前の数値をどこかファイルにでも保存し、比較するという手があります。このcheck_bandwidthはその方法を取っているようです。ただ、これだと汎用性があまりないので、監視対象サーバ側に定期的に指定したコマンドを実行して、その数値を外部から取得できるサーバを書いてみました。 CPAN: https://metacpan.org/release/App-derived *出てくるまで時間がかかるようです github: https://github.com/kazeburo/App-derived 使い方インストールはcpanmで $ cpanm -n
kazuph1986 2013/02/09
memcached

perl

monitoring

あとでみる

運用

operation
リンク
ElastiCacheとELBとtwemproxy - まめ畑
redis / memcachedをスケールする方法として、アプリケーションで分散アルゴリズムを実装する方法や、ライブラリを使う方法などありますが、 Twitterが作っているtwemproxy(https://github.com/twitter/twemproxy)というものがあります。これは、redis / memachedの前段に置くことでキャッシュクラスタを構成することが出来ます。様々な分散アルゴリズムや、故障ノードの切り離しなどの機能もあり、キャッシュノードが不具合で接続できなくなったとしても自動でサービスアウトしてくれます。開発も盛んに進んでいて、今、ノード追加時にプロセスの再起動が必要ですが、gracefulの実装も見えて来ました。詳しくは以前書いたこちらの記事を参照して下さい。http://d.conma.me/entry/20121227/1356596553
kazuph1986 2013/01/23
redis

cache

memcached

proxy

twemproxy
リンク
Webアプリにおけるキャッシュ。オレオレ事例 - ゆーすけべー日記
Webアプリにおいて、アクセスやデータ量が多く/大きくなってくると、バックエンドのパフォーマンスが低下しがちです。 MySQLなどのRDBMSにデータを置いている場合は適切にクエリーを改善する、インデックスを張る、といった策で解決する場合もありますが、キャッシュを効果的に利用することでより高負荷に対応できる可能性があります。また、外部APIへの問い合わせなど、どうしてもネットワークや他のリソースのレスポンスタイムに引きずられる部分に関しては情報を手元にキャッシュしておくと何かとよいでしょう。今回はWebアプリケーションのレイヤーで最近僕がどのようにキャッシュを使っているのか？の事例を紹介しつつまとめてみたいと思います。キャッシュについてとその基本そもそもキャッシュとは、簡単にふわっと表現するならば、﹁一時的に情報を手元の近い場所に置いておいて利用する手法、もしくはその一
kazuph1986 2013/01/18
キャッシュの使い回し方法の整理に。

perl

data

performance

memcached

キャッシュ
リンク
Docker
kazuph1986 2013/01/08
memcached

api

cache

perl
リンク
memcacheのデータの消し方 - hiroyのブログ
memcacheに入ってるデータを狙い撃ちで消す方法をいつもど忘れするのでメモ。 memcachedが動いてるサーバにログイン「telnet localhost 11211」「stats」で状態とか見れる「delete <キャッシュID>」で削除できる「quit」でtelnet抜ける単純にmemcachedのポート番号をよく忘れる、という…。
kazuph1986 2012/12/21
memcached
リンク
memcachedにおけるキャッシュシステムの Thundering Herd 問題への対策案 - blog.nomadscafe.jp
キャッシュシステムの Thundering Herd 問題とは、通常、キャッシュに格納されるデータは、それぞれ単一の生存時間をもっています。問題は、頻繁にアクセスされるキャッシュデータがエクスパイアした際に発生します。データがエクスパイヤした瞬間から、並行に走る複数のアプリケーションロジックがミスヒットを検知し、いずれかのプロセスがキャッシュデータを格納するまでの間、同一のリクエストが多数、バックエンドに飛んでしまうのです。という問題。クエリが重かったりするとそれだけでシステムに致命的な負荷を与えてしまい、キャッシュがあるにも関わらずキャッシュが切れたタイミング全体が停止することも考えられます。memcachedでこの問題に対応するため、次のような手段を考えてみました。まず、保存時に通常のキャッシュと、それよりも指定した秒数Expiresが短いキャッシュを2つmemcachedに対し
kazuph1986 2012/12/11
self

cache

memcached

perl

database

memcache

caching
リンク
Cache::Memcached::鉄板(てっぱん) - blog.nomadscafe.jp
Cache::Memcached(::Fast)を使う上でベストプラクティスをまとめたモジュールを書いてみた。名前は、Cache::Memcached::IronPlate。おのみち焼き。 githubにあります。ドキュメントが日本語だけです: https://github.com/kazeburo/Cache-Memcached-IronPlate つかいかた use Cache::Memcached::IronPlate; use Cache::Memcached::Fast; my $memd = Cache::Memcached::IronPlate->new( cache => Cache::Memcached::Fast->new(...). ); $memd->get $memd->get_multi $memd->set $memd->add $memd->replace
kazuph1986 2012/12/09
memcached

perl

web開発

cache-memcached

cache
リンク
ウェブオペレーションエンジニアはリリース前のソースコードのココを見ているッ！ - blog.nomadscafe.jp
「ウェブオペレーションエンジニアはリリース前のソースコードのココを見る！」みたいな記事があればいいね — masahiro nagano (@kazeburo) November 20, 2012 ちょいと前にツイートしたこの件のまとめ。新規サービスのリリースや既存サービスに新しい機能が追加される際に、しばしばそのソースコードを確認しているのですが、僕がどんなところを見ているのかまとめてみました。そのサービスへの導線とランディングページの確認まず、そのサービスへの導線やランディングページを確認します。そしてその一番アクセスがあろうページ、一つか二つに確認対象を絞ります — masahiro nagano (@kazeburo) November 20, 2012 どんな素敵なサービスも、機能も適切な誘導がなければ使われる事はありません。また誘導次第では大量のアクセスが一度にサーバに対し
kazuph1986 2012/12/09
kazeburo

memcached

MySQL

サービス

development

server

performance
リンク
3000req / sec と戦う - だるろぐ
ざっくり概要ピークで3000req / sec 毎分コンテンツ更新要求コンテンツ更新の際は他所からデータをapi経由で受け取るコンテンツ更新にはTheSchwartzを使用なコンテンツを色々してきたログ。尚、ここに書く技術は大半が周囲のギークな方々にサポートしてもらったもので、僕自身が何かしたわけではない。残念すぎる。構成 internet -> www(squid -> apache) -> app(memcached -> app) -> db フロントエンド wwwサーバがapacheとsquidを動かしている。apacheがリクエストを受け、squidのキャッシュが有ればそれを返し、無ければバックエンドのappサーバへproxy。バックエンド appサーバがmemcachedとアプリを動かしている。それぞれ冗長化してるけど、リクエスト数の割に台数は少ない。技術があ
kazuph1986 2012/11/26
この記事なんか面白いんだよなぁ。

apache

nginx

memcached

mysql

performance

サーバ

squid

あとで読む
リンク
Memcached statistics (stats command)
Dieser Post wurde aus meiner alten WordPress-Installation importiert. Sollte es Darstellungsprobl eme, falsche Links oder fehlende Bilder geben, bitte einfach hier einen Kommentar hinterlassen. Danke. Memcached is a great tool for speeding up your database access. A "stats" command returns usage statistics but few documentation is available on what's returned. The official Memcached Wiki shows a bo
kazuph1986 2012/11/20
memcached

cache
リンク
net.core.somaxconnについて調べてみた - 祈れ、そして働け～ Ora et labora
概要 ↓ memcachedのtcp_backlogのデフォルト値は1024で、stats settingsにも1024と表示されているのですが、 stats settings ... STAT tcp_backlog 1024 ... END↓ net.core.somaxconnがデフォルト値のままだと128に切り詰められてしまい、 # cat /proc/sys/net/core/somaxconn 128負荷が高いサーバーでは接続要求を取りこぼしてしまうことがあるそうです。このnet.core.somaxconn、MemcacheやMySQLなど、高負荷時に多くの接続要求を受け付けるサーバーではチューニングが必要なカーネルパラメータのようです。いったいどういう値なのか、調べてみました。 net.core.somaxconnとは TCPソケットはlisten()関数の第二引数ba
kazuph1986 2012/11/19
net

tcp

Linux

mysql

performance

memcached

system

Linux管理
リンク
miruo/README.ja at master · pandax381/miruo · GitHub
kazuph1986 2012/11/19
tcp

tcpdump

miruo

memcached
リンク
Redis布教活動報告 ISUCON 編 - unknownplace.org
最近 Test::RedisServer とかもろもろつくっててばれてるかもしれませんが、だいぶ Redis 期にありまして、最近の趣味は？っていう問いにはだいたいRedisのソースを読むことですってなくらいなのですが、 memcached とかシンプルな KVS と比べるとだいぶ機能が豊富なので使い方を迷ったりとかそういう事例もあり、周りにもう少し使える人を増やさなければ僕の書いたコードが属人化しててつらい感じになるなーっていうわけで、布教活動をおこなっておりまして、その一環として ISUCON2 に参加してきましたのでその報告です。 livedoor Techブログ : #isucon2 リアルタイムフォトレポート更新終了前回の優勝チームに混ぜてもらった感じでだいぶついてる感じもしますが、見事連覇を果たせ、懇親会でも redis redis と連呼してきたのでだいぶ興味持った方も
kazuph1986 2012/11/10
redis

server

memcached

isucon

isucon2

xslate
リンク
[gihyo.jp連載] 最終回 memcachedを快適に利用するTips集 - blog.nomadscafe.jp
第三回の紹介をしない間に、連載「memcachedの活用と運用実践編」の最終回が公開されました。最終回は、memcachedを多く運用してきた経験から得た小さめのTIPSをいくつか紹介する回となっています。言語依存の話になるので詳しくは書きませんでしたが、記事中のincrementのサンプルで my $result = $memd->incr($key, @_); if ( defined $result && ! $result ) { ... } このように冗長にみえる条件文になっていますが、このdefinedと!$resultの意味はCache::Memcached::Fastのドキュメントを読むと解ります。 Return: unsigned integer, new value for the $key, or false for negative server reply,
kazuph1986 2012/11/09
memcached

perl

tips

kazeburo
リンク
1 2 次のページ