エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント37件
- 注目コメント
- 新着コメント
![yojik yojik](https://cdn.profile-image.st-hatena.com/users/yojik/profile.png)
yojik
“ Rust で書かれており、マルチコアを完全に使い切って超高速なダウンロードができます。 この s3ar を利用すると約 6GB のセグメントファイルのダウンロードは10秒程度で完了します”
![denqueue denqueue](https://cdn.profile-image.st-hatena.com/users/denqueue/profile.png)
denqueue
"せっかく tmpfs を使っていてファイルの実体がメモリ上にあるのですから、そのページに直接書き込みたいと思うのが自然でしょう。実は、その願いは tmpfs 上のファイルを mmap(2) すると叶えることができます。"
![taiyow taiyow](https://cdn.profile-image.st-hatena.com/users/taiyow/profile.png)
taiyow
良い記事だった。仕様を丁寧に分析して制約を設けて実装を効率化するところが、﹃珠玉のプログラミング﹄の話みたいで、お見事。/ 利用者に直接見えなくても運用が安定したり費用が減るなら十分じゃん。それも開発。
![razokulover razokulover](https://cdn.profile-image.st-hatena.com/users/razokulover/profile.png)
razokulover
“これは Rust で書かれており、マルチコアを完全に使い切って超高速なダウンロードができます。 この s3ar を利用すると約 6GB のセグメントファイルのダウンロードは10秒程度で完了します”
![Shin-JPN Shin-JPN](https://cdn.profile-image.st-hatena.com/users/Shin-JPN/profile.png)
Shin-JPN
素晴らしい。インクリメンタルにモダンを維持するなんて最初の思想が余程筋が良く、将来予想が当たってないと継ぎ接ぎ化するだけ。作り直しは現行の機能要件の本質をきっちり理解できていれば失敗リスクは高くない。
![tgk tgk](https://cdn.profile-image.st-hatena.com/users/tgk/profile.png)
tgk
「ダウンロードしたセグメントファイルはtmpfsに書いています」「ブロックストレージは完全に無駄であることに気が付きます。 結局ページキャッシュに乗せなければならないならはじめからtmpfsに書くべきです」
![oakbow oakbow](https://cdn.profile-image.st-hatena.com/users/oakbow/profile.png)
oakbow
凄さが実感できるほど理解できてないけど、ElasticSerchをフルマネージドで利用するよりSolrで1から立てた方がコスト面でも有利だったんだろうな。規模でかいところではしばしば起こりがちだけど
![otherworld otherworld](https://cdn.profile-image.st-hatena.com/users/otherworld/profile.png)
otherworld
参考になる。更新頻度が低く、データ容量の増加も少ないから取れる構成という感じだ。明記はされてないけど、分散インデックスではなくて単一のインデックスで済むから複雑にならずに出来ているという気がする
![daishi_n daishi_n](https://cdn.profile-image.st-hatena.com/users/daishi_n/profile.png)
daishi_n
オンメモリDBはトレンドだけど参照系はRAMディスクに置いて永続ストレージはマスタのみという構成か。mmap()でカーネル空間とユーザー空間のオーバーヘッドなしにダイレクトアクセスするのがミソなんだね。
![taiyow taiyow](https://cdn.profile-image.st-hatena.com/users/taiyow/profile.png)
taiyow
良い記事だった。仕様を丁寧に分析して制約を設けて実装を効率化するところが、﹃珠玉のプログラミング﹄の話みたいで、お見事。/ 利用者に直接見えなくても運用が安定したり費用が減るなら十分じゃん。それも開発。
![castaneai castaneai](https://cdn.profile-image.st-hatena.com/users/castaneai/profile.png)
castaneai
“tmpfs はファイルの実体が page cache に存在するファイルシステムであるので、mmap すると tmpfs のファイルの実体がそのままユーザーランドから見えるようになる”
![denqueue denqueue](https://cdn.profile-image.st-hatena.com/users/denqueue/profile.png)
denqueue
"せっかく tmpfs を使っていてファイルの実体がメモリ上にあるのですから、そのページに直接書き込みたいと思うのが自然でしょう。実は、その願いは tmpfs 上のファイルを mmap(2) すると叶えることができます。"
![razokulover razokulover](https://cdn.profile-image.st-hatena.com/users/razokulover/profile.png)
razokulover
“これは Rust で書かれており、マルチコアを完全に使い切って超高速なダウンロードができます。 この s3ar を利用すると約 6GB のセグメントファイルのダウンロードは10秒程度で完了します”
![Shin-JPN Shin-JPN](https://cdn.profile-image.st-hatena.com/users/Shin-JPN/profile.png)
Shin-JPN
素晴らしい。インクリメンタルにモダンを維持するなんて最初の思想が余程筋が良く、将来予想が当たってないと継ぎ接ぎ化するだけ。作り直しは現行の機能要件の本質をきっちり理解できていれば失敗リスクは高くない。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
いまの話題をアプリでチェック!
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというとこ...
技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol
2020/11/25 リンク