AIとスクレイピングに関するyuki_2021のブックマーク (3)
-
インターネットセキュリティ企業の米Cloudflareは7月3日︵現地時間︶、AIによるWebサイトのスクレイピング︵データの自動収集︶を防ぐ新機能を発表した。この機能により、Webサイト運営者は簡単な操作でAIボットからサイトを守ることができるようになるとしている。 近年、米OpenAIの﹁ChatGPT﹂などの生成AIの登場により、AIの学習に使用されるデータの需要が急増している。そのため、多くのAI企業がインターネット上の情報を大規模に収集しようとしている。 従来、Webサイト運営者はrobots.txtというファイルを使用して、検索エンジンのクローラーなどのボットにサイトのどの部分にアクセスしてよいかを指示していた。 だが、この方法には限界があるとCloudflareは説明する。例えば、robots.txtは﹁紳士協定﹂のようなもので、悪意のあるボットは無視する可能性がある。また、
-
-
こんにちは、最近ハッカソンに出たくてもスケベなプロダクトしか作ってなくて出場できない、スケベサイエンティストのDAIです(@never_be_a_pm) 以前はQiitaでエロサイトのスクレイピングを行い、AV女優のビッグデータを取得しました。 Pythonでエロサイトスクレイピングして、AV女優のビッグデータからスケベなインサイトを見出す https://qiita.com/kkdmgs110/items/593b9a2a270734d06070 もともとこのデータを使って顔認識を起こった人口知能アプリケーションを作りたかったのです。今回は、以前にスクレイピングしたエロ画像をAIに学習させました。そして、Lineで画像URLを送ると、似ているAV女優を返してくれるスケベAI﹁スケベ博士﹂が完成したので、公開したいと思います。 こちらから友達追加できます! https://line.me/
-
1