タグ

関連タグで絞り込む (90)

タグの絞り込みを解除

Redisに関するkimutanskのブックマーク (82)

  • RedisのHyperLogLogを使ってユニークユーザー数を推定する – Rest Term

    去年の内に公開することが出来ず、ずっと下書き状態だったエントリーをちょっとずつ消化していきたいと思います。ネタとして古いものも含まれていたりすると思いますがしばらくご辛抱ください。。 Redis 2.8.9から追加された HyperLogLog をちょっと触ってみました。 環境 * CentOS 7.0 (x86_64) / Intel Xeon E312xx (Sandy Bridge) 2.4GHz 仮想3コア / 2GB RAM * Redis 2.8.17 * redis-py (Python 2.7.5) HyperLogLogとは HyperLogLog (以下HLL)というアルゴリズムはデータマイニング(トラフィックデータの分析等)とか自然言語処理をやってる人ならともかく、Webアプリケーション開発者にはあまり馴染みがないかもしれません。 HyperLogLog – Wiki

    RedisのHyperLogLogを使ってユニークユーザー数を推定する – Rest Term
    kimutansk
    kimutansk 2016/08/05
    結合したキーの和集合の計算とかもできますか。
    リンク

  • GitHub - redis/go-redis: Redis Go client

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - redis/go-redis: Redis Go client
    kimutansk
    kimutansk 2016/05/11
    Go用Redisクライアント。一度小さいツール作ってそれを拡張しながら学びますかね。
    リンク

  • Sidekiq による非同期処理を Redis の分散ロックで排他制御した話 - peroli Developer's Blog


    MERY のサーバーサイドエンジニアの @saidie です。 MERY では画像アップロードや記事投稿による検索インデックス作成などなど、ユーザからのリクエスト起因で起こる時間のかかる処理の多くを非同期に行うことでレスポンスタイムの向上に努めています。また、重複した非同期処理が並行して走ることによる スループット の劣化を分散ロックを用いた 排他制御 で緩和する取り組みなども行っています。 MERY は RubyonRails を用いて開発されており、非同期処理には Ruby 製の フレームワーク である Sidekiq を採用しています。この記事では Sidekiq と Redis による分散ロックを使って、同一の非同期処理が(あまり)重複しないような MERY の非同期処理システムについてご紹介します。 Sidekiq Sidekiq はクライアントサー バモ デルのマルチスレッ
    Sidekiq による非同期処理を Redis の分散ロックで排他制御した話 - peroli Developer's Blog
    kimutansk
    kimutansk 2016/04/22
    2Phaseロックの方式を自前で作ったわけですか。
    リンク

  • デブサミ2016「大規模Redisサーバ縮小化の戦い」講演メモ #devsumi - 元RX-7乗りの適当な日々


    メモメモ。泥臭い話で面白かったです。 ﹁大規模Redisサーバ縮小化の戦い﹂ 駒井 祐人 氏 (株)アカツキ ゲームのサーバサイド機能開発、インフラの設計構築・保守運用 Redisとは インメモリDB5種類のキーバリューのデータ型 ファイル永続化オプション システムの問題点 EC2サーバが20台に対して、AWSのElasticCache(Redis)が64台あった なぜ64台あったかというと、リリース直後にRedisの負荷問題があり、8台 =>64台になった 調査するとkeys("")を実行している箇所があった 当然お金がかかる(cache.m3.large * 64台 = 約135万円/月) 冗長化しんどいし、設定ファイルの記載も辛い ので、縮小化と冗長化の対処をしたい 現状整理 格納されているデータ フレンド情報、セール情報、ランキング情報 キーの件数1サーバに8DB、1DBあた
    デブサミ2016「大規模Redisサーバ縮小化の戦い」講演メモ #devsumi - 元RX-7乗りの適当な日々
    kimutansk
    kimutansk 2016/02/18
    正直、つらい内容・・・　ElastiCache、接続数上限変更できないんですね。地味に痛い。
    リンク

  • Apache GeodeをMemcached／Redisサーバーとして使う - CLOVER🍀


    さらさらとApache Geodeのソースツリーやドキュメントを眺めていて、Apache GeodeをMemcachedやRedisとしても使えそうだったので、試してみました。 Moving from memcached to gemcached - Geode - Apache Software Foundation Geode Redis Adapter - Geode - Apache Software Foundation ﹁gemcached﹂、ときましたか…。 RedisAdapterは、GemFireの頃にはなかったのかな？ 今回、Apache Geode 1.0.0-incubating.M1を使って、これらの機能を動かしてみます。gemcached Server起動時に、以下のようなオプションを付けてあげればMemcachedとして使えるようになります。 ※Locato
    Apache GeodeをMemcached／Redisサーバーとして使う - CLOVER🍀
    kimutansk
    kimutansk 2016/02/15
    Geode上のデータはRedisやmemcachedのポート開いた場合でも複数のプロトコルから同じように使えるんでしょうか。だとするとかなり汎用性は高い気が・・
    リンク

  • Redis 本番障害から学んだコードレビューの勘所


    Redis不適切利用による問題は本番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100本くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は﹃消えても良いデータならRedis﹄ Redisのメモリが溢れたら... ︵この話は事実ではなくファンタジーです。︶ 深夜電話で叩き起こされました。どうやらアクセス障害みたいです。 何人かで実機確認したら、まったくゲームが遊べない。データ不整合怖いのでメンテIN。 ほどなくしてRedisが溢れメモリ不足で新規書き込みが出来なくなっていると判明。サーバのメモリ容量は64GByteでこれ以
    Redis 本番障害から学んだコードレビューの勘所
    kimutansk
    kimutansk 2015/10/27
    キャッシュとして使え／Expire適切に設定／ZRANGE系、keys *は使わない／ストレージとして使う場合はDBとの不整合発生しないようにする、と。
    リンク

  • Redis作者自身によるRedisとMemcachedの比較 | Yakst

    Redisの作者antirez氏自らによる、memcachedとRedisの長所短所の比較。特に、Redisを単なるキャッシュ用アプリケーションとしてmemcachedと比較することの間違いと、それぞれの向いている使用方法についての私見。 あなたが私と面識があるなら、私が競合製品があることが悪いと考える人間でないことはご存知でしょう。ユーザーに選択肢があることは本当にいいことだと思っていますし、だからこそ他の技術とRedisを比較するようなことはほとんどしませんでした。 しかし、最適なソリューションを選ぶためには、ユーザーは正しく情報を持たねばならないのも確かです。 この記事を書くのは、有名なライブラリであるSidekiqの作者として知られるMike Perhamが、Redisのバックエンドストレージとしての使い方を書いた記事を読んだのがきっかけです。従って、私はMikeがRedisに「反

    Redis作者自身によるRedisとMemcachedの比較 | Yakst
    kimutansk
    kimutansk 2015/10/14
    Memcachedは1プロセスで複数コアにスケール、後は更新がそれほどない場合のデータのキャッシュに有利、Redisはデータ構造多彩で更新頻繁でも問題発生しにくいと。
    リンク

  • Using Lua to implement multi-get on Redis hashes

    kimutansk
    kimutansk 2015/07/02
    10Kのキー一覧を取得して逐次処理する場合の時間がpipelineの6割ほどになりますか。10K回アクセスしてpipelineでも2秒切るRedis自体も相当な気もしますが。
    リンク

  • HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ

    This document compares Apache Kafka and AWS Kinesis for message streaming. It outlines that Kafka is an open source publish-subscribe messaging system designed as a distributed commit log, while Kinesis provides streaming data services. It also notes some key differences like Kafka typically handling over 8000 messages/second while Kinesis can handle under 100 messages/second.

    HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ
    kimutansk
    kimutansk 2015/05/14
    HBaseのスキーマ改善は１アクセス１Rowに収める形でシンプルになっていますね。
    リンク

  • オンメモリ分散ジョブキュー Disque コトハジメ - Qiita


    antirez/disque は Redis の作者が開発している、オンメモリ分散ジョブキューです。 まずは、簡単に動かしてみることにしましょう。 結論 普通にシンプルな分散ジョブキューです。 まだアルファ版という事だけれど、簡単に非同期を実現する仕組みとしてはかなり良いと感じました。 Redis の事を考えれば、今後ますます便利になっていくと思うので、早いうちに一通り触っておき、考え方を学んでおくのは良さそうです。 セットアップ Mac OSX 10.10.3
    オンメモリ分散ジョブキュー Disque コトハジメ - Qiita
    kimutansk
    kimutansk 2015/05/13
    ジョブキューということは複数で接続した時に１つしか取れず、Ack返らないとそのうち復活という如何にもキューな感じでしょうか。詳細見てみましょう。
    リンク

  • Diagnosing latency issues

    Finding the causes of slow responses This document will help you understand what the problem could be if you are experiencing latency problems with Redis. In this context latency is the maximum delay between the time a client issues a command and the time the reply to the command is received by the client. Usually Redis processing time is extremely low, in the sub microsecond range, but there are

    kimutansk
    kimutansk 2015/04/30
    transparent_hugepageで遅くなるということはRedis野ページにも書かれてましたか。
    リンク

  • LINEの100億超/日メッセージを支える Redis・HBaseのスケールアウト・アップ戦略 #linedevday - Togetterまとめ

    リンク linedevday.linecorp.com LINE DEVELOPER DAY_2015 Tokyo LINE DEVELOPER DAY_2015 Tokyo is a technical conference in which our teams of engineers share their various experiences and also address open issues. Shunsuke.N A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ HALL A 13:30 - 14:10 "LINEのメッセージングストレージとしての難しい要求に対して、RedisとHBaseを利用してどのように問題を解決してきたかについて紹介します。 最初にLINEでのストレージのユースケースを共有した上で、ストレージの可用性を

    LINEの100億超/日メッセージを支える Redis・HBaseのスケールアウト・アップ戦略 #linedevday - Togetterまとめ
    kimutansk
    kimutansk 2015/04/30
    Redisはマルチコアを使いきるため１ノード複数インスタンス、30クラスタ、4800Shards、48TBメモリと。
    リンク

  • Redis cluster - おさかな日誌

    Redis 初心者が Redis 3.0 から追加された cluster 機能を使ってみました。勘違いや憶測が多分に含まれます、ご注意を＞＜ セットアップ 現時点では 3.0 がパッケージマネージャでインストールできなかったので、Redis 公式ページから latest stable をダウンロードして、make, make test した。 大体 http://redis.io/topics/cluster-tutorial を見てセットアップする。今回はまずは 4 master node で動かしてみる。後でノードを追加したいので余分に設定を作っておく。 ❯ mkdir 7000 7001 7002 7003 7004 7005 ❯ cat <<EOS > redis.conf port 7000 cluster-enabled yes cluster-config-file node

    Redis cluster - おさかな日誌
    kimutansk
    kimutansk 2015/04/15
    RedisCluster、値を保持しないノードからは保持するノードのアドレスが返りますか。後はレプリカで冗長性確保すると。途中で移動できるのはいいですね
    リンク

  • [AWS]マルチAZなElastiCache Redisの永続性についてメモ


    Redis のデータを永続化させるには RDB : point in time スナップショット AOF : write ahead logging(WAL) の2種類の方法がある。 AWS ElastiCache Redis で Multi-AZ かつ自動フェイルオーバーなレプリケーショングループを組んでいる Redis での動きをメモ。 このようなレプリケーショングループの作り方は次のURLを参照 http://docs.aws.amazon.com/AmazonElastiCache/latest/UserGuide/AutoFailover.html Redis の RDB と AOF について RDB について RDB は point-in-time にダンプしたファイル。 通常の Redis であれば SAVE または BGSAVE(バックグランドで非同期に処理)コマンドで作成
    [AWS]マルチAZなElastiCache Redisの永続性についてメモ
    kimutansk
    kimutansk 2015/02/17
    手動スナップショットが24時間で20回というのは中々微妙な回数ですねぇ・・
    リンク

  • Uzabase Tech: 荒ぶるRedisとNewsPicks


    2014年11月5日水曜日 荒ぶるRedisとNewsPicks NewsPicks の開発を担当している杉浦です。 NewsPicksはおかげさまでユーザ数が20万を突破しました。 サービスが順調に成長するということは大変にうれしいことなのですが、エンジニアとしては負荷との戦いになったりします。我々も例に漏れず日々、負荷との戦いを強いられています。 NewsPicksの機能面の特長として次の2つがあります。 ・フォローしているユーザのPickが自分のタイムラインに集約される ・各カテゴリで話題になった記事を閲覧できる これらの機能を高速に処理・実現するためにRedisを採用しているのですが、 ユーザ数の増加による負荷増加によって問題が発生するようになりました。 本記事では、 ・ユーザ数が増える中でRedisにどのような問題が発生したか ・ソースコードを読みながら問題の
    kimutansk
    kimutansk 2014/11/06
    イベントループは閾値オーバーすると一気にレスポンスが悪化するのが確かに厄介な所ではありますね。垂直分散はそれだけ複雑になりそうですが・・・
    リンク

  • Socket.IO, Redisを使用し各ゲーム間でプッシュ通知するシステム | 株式会社サイバーエージェント


    2. システム概要 homingは、アメーバピグ関連サービスのいずれかにログインしているユーザに対して、各サービスの通知情報を横断的にプッシュ通知します。 システムの構成は以下の通りです。 図2-1. システム概要 2-1. APIサーバ ユーザへの通知要求を受け付けるREST fullなAPIを備えたWebサーバです。 Node.jsのClusterによる、master/worker構成で稼働します。 通知要求はワーカプロセスで処理します。 図2-2. APIサーバ 2-2. Redisサーバ︵データストア用︶ 一時的なデータをストアするためのRedisサーバです。 sentinelプロセスによる、master/slave構成で稼働します。 ストアされたデータはメモリ上のみで管理し、ディスクへの書き込みは行いません。 以下の情報を管理します。 ユーザのオンライン情報 ユーザIDの索
    Socket.IO, Redisを使用し各ゲーム間でプッシュ通知するシステム | 株式会社サイバーエージェント
    kimutansk
    kimutansk 2014/10/24
    RedisのPub/SubをMaster/Slave構成を用いてスケールアウトさせる方式ですか。Subは読み込みなのでSlaveからも返せ、実現できると
    リンク

  • Redis cluster, no longer vaporware. - <antirez>

    The first commit I can find in my git history about Redis Cluster is dated March 29 2011, but it is a “copy and commit” merge: the history of the cluster branch was destroyed since it was a total mess of work-in-progress commits, just to shape the initial idea of API and interactions with the rest of the system. Basically it is a roughly 4 years old project. This is about two thirds the whole hist

    kimutansk
    kimutansk 2014/10/10
    RedisClusterの話。かなり初期から構想としてはあがっていたものがようやく実現できた、という感じでしょうか。
    リンク

  • 分散型メッセージングミドルウェアの詳細比較 | POSTD


    メッセージキュー について書いている連載の続きとして、今週末は分散型メッセージングを実行するための様々なライブラリを詳細に分析していきたいと思います。今回の分析では、APIの特性、デプロイメントやメンテナンスの容易さ、そしてパフォーマンスの質を含めて2、3種類の異なる側面に着目します。メッセージキューは2つのグループに分類できます。ブローカレス︵brokerless︶とブローカード︵brokered︶です。ブローカードなキューはエンドポイント間に何かしらのサーバを挟んでいますが、ブローカレスなメッセージキューは、メッセージ送信の際でも間に何も挾まないP2Pです。 今回分析するのは以下のシステムです。 ブローカレス nanomsg ZeroMQ ブローカード ActiveMQ gnatsd Kafka Kestrel NATS NSQ RabbitMQ Redis 取り掛かりとして、ほぼ間違
    分散型メッセージングミドルウェアの詳細比較 | POSTD
    kimutansk
    kimutansk 2014/10/01
    Redis並みにKafkaがスループットあったことが驚きです。スループットはある方だとは思ってましたが、Redis並みまで達してましたか。
    リンク

  • Twitterのキャッシュを支えるRedis - ワザノバ | wazanova


    https://www.youtube.com/watch?v=rP9EKvWt0zo 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 TwitterのYao Yuが、大規模サービスのキャッシュにおいてRedisを活用する取組みについて紹介しています。1) Redisを採用している理由 キャッシュだけで、ストレージとしては利用していない。 主なところでは、Twitterのタイムラインで利用している。ホーム画面であれ、ユーザ画面であれ、タイムラインはTweetのインデックスなので、key/valueストア型のRedisを利用するケースとして最適。 以前はmemcachedを使っていたが、問題になったのは、タイムラインでおきるread/writeは、︵ユーザが閲覧している範囲に追加反映するということなの
    kimutansk
    kimutansk 2014/09/20
    Redisはwriteによっているが、クラスタへのwriteは難しい／ディスクやネットワークの前に事前処理を行う、等。　参考になりますね。
    リンク

  • How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS, 10,000+ Instances  - High Scalability -

    Yao Yue has worked on Twitter’s Cache team since 2010. She recently gave a really great talk: Scaling Redis at Twitter. It’s about Redis of course, but it's not just about Redis. Yao has worked at Twitter for a few years. She's seen some things. She’s watched the growth of the cache service at Twitter explode from it being used by just one project to nearly a hundred projects using it. That's many

    kimutansk
    kimutansk 2014/09/10
    TwitterではRedisにTimeLineとBTreeを格納し、独自のクラスタマネージャを使用と。MesosはRedisのような超低レイテンシが求められるジョブのデプロイに向かない・・？
    リンク
  • 1 2 3 4 5 次のページ

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.