Web-Scrapingに関するmasa8aurumのブックマーク (2)
-
概要よくある﹁完全放置!﹂﹁全自動更新!﹂﹁何もしなくても儲かる!﹂みたいなアフィがあるけど おそらく、その1つである全自動更新のエログ作って一ヶ月近くたったからその結果を書く。 何かしら作品を作ったらQiitaとかにアウトプット上げるけど、内容が内容なのでここで。 URLは多少内定自慢できるくらいの会社に内定貰っているから伏せますね><@バレなさそうなら晒す ・仕組み ・サイト情報 ・お金の話 ・技術的な話 ・結論 仕組み仕組みは簡単、いくつかの既存のエロサイトにWebスクレイピングをかけてウチのエログでも全く同じ情報を配信する。 そんなエログに全く価値が無いと思われるが、既存のエロサイトと比べてウチのエログを使うメリットはいくつかある。 メリットリスト1. share-videosを使っているので削除されていても案外見れたりする。 2. 広告がshare-videos意外無い 3. エ
-
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの﹁~してみた﹂から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05‥ 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
-
1