こんにちは、VASILYエンジニアの塩崎です。 今回はiQONを支えているクローラーの並列処理について紹介したいと思います。 並列処理の効率化をする過程でresqueを見限りsidekiqに移行した理由、移行時に書き換えた部分などについてもお話ししたいと思います。 iQONのクローラーの並列処理の仕組み iQONでは毎日数100万点のアイテムのクローリングを行っています。 一度クローリングしたアイテムも毎日1回再クロールし在庫や値下げをiQON内のDBと同期しているため、大量のアイテムを効率良くクロールする仕組みが必要です。 クロールの処理は﹁ダウンロード﹂と﹁スクレイピング﹂の2つに大きく分けることができます。 このうち、ダウンロードの部分については、提携ECサイトに対して負荷がかからないようにスケジューリングをする必要があります。 この部分の効率化についてVASILYでは分散Mutex
![クローラーの並列処理でresqueを捨ててsidekiqに移行した話 - ZOZO TECH BLOG](https://cdn-ak-scissors.b.st-hatena.com/image/square/6e532d3288dc8e7baafdd5632f5622f5c30750e3/height=288;version=1;width=512/http%3A%2F%2Fvasily.jp%2Fcontent%2Fimages%2Ftech-blog%2Fshiozaki_20151019%2F20151019-044605.png)