IntroductionOn June 27, 2024, a small number of users globally may have noticed that 1.1.1.1 was unreachable or degraded. The root cause was a mix of BGP (Border Gateway Protocol) hijacking and a route leak. Cloudflare was an early adopter of Resource Public Key Infrastructure (RPKI) for route origin validation (ROV). With RPKI, IP prefix owners can store and share ownership information securely,
インターネットセキュリティ企業の米Cloudflareは7月3日（現地時間）、AIによるWebサイトのスクレイピング（データの自動収集）を防ぐ新機能を発表した。この機能により、Webサイト運営者は簡単な操作でAIボットからサイトを守ることができるようになるとしている。 近年、米OpenAIの「ChatGPT」などの生成AIの登場により、AIの学習に使用されるデータの需要が急増している。そのため、多くのAI企業がインターネット上の情報を大規模に収集しようとしている。 従来、Webサイト運営者はrobots.txtというファイルを使用して、検索エンジンのクローラーなどのボットにサイトのどの部分にアクセスしてよいかを指示していた。 だが、この方法には限界があるとCloudflareは説明する。例えば、robots.txtは「紳士協定」のようなもので、悪意のあるボットは無視する可能性がある。また、
生成AIの人気により、モデルのトレーニングや推論に使用されるコンテンツの需要が急増しており、一部のAI企業はウェブスクレイピング用のボットでデータを収集しています。コンテンツデリバリネットワーク(CDN)のCloudflareが、AI学習用にウェブスクレイピングを行うボットを一括でブロックする機能を導入したと発表しました。 Declare your AIndependence: block AI bots, scrapers and crawlers with a single click https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click AIの学習に用いられるデータセットを用意するためには、膨大な量のデータが必要と
Cloudflare、ワンクリックでAIボット、AIクローラーをブロックする設定を追加 Cloudflareは2024年7月3日、AI学習用のデータを収集するAIボットやAIスクレーパー、AIクローラーのアクセスをワンクリックの設定でブロックできる機能を実装したことを発表した。 Declare your AIndependence: block AI bots, scrapers and crawlers with a single click -The Cloudflare Blog Cloudflareは2023年に、robots.txtに従い動作するAIボットをブロックできる機能を発表している。しかしこのブロック機能は、ボット運営者がrobots.txtに正しくしたがったユーザーエージェントを使用している場合のみ機能する。ユーザーエージェントはボット運営者が簡単に変更して偽装
先生! Cloudflare は信用できます!
Cloudflare Pages 、使ってますか?超便利ですよね。 文化祭などでも、生徒がサイトを作るときに使用している場合があるそうです。 そんなときに問題が起こるかもしれません。「その Cloudflare って会社、信用できるの?? 」 根拠を集めましょう。 どのような根拠? 顧客です。顧客が結構信用させるのにいいのではないでしょうか。 先生方が信用している団体が多く使用しているサービスだったなら、信用度が上がるはずです。 特に公共性の高い企業や団体は有効なはずです。Pages の使用に一歩近づけます。 大手日本企業を使う 私が国内の大手企業などの顧客を調べました: GMO[1] 日本航空(JAL)[2] 早稲田大学(企業でない)[3] ライオン株式会社[4] GMO は知らないにしても、日本航空はわかるのではないでしょうか。 日本企業は強いカードかもしれません。 Web アプリを使
Artie Beaty （Special to ZDNET.com） 翻訳校正： 矢倉美登里 吉武稔夫 （ガリレオ） 2024-07-08 09:31 人工知能（AI）のトレーニングのためにAIボットがウェブサイトのコンテンツをスクレイピングするのが心配なら、Cloudflareがその対策に役立つ。 ウェブの約20％でプロクシとして利用されていると主張するCloudflareは、すべてのAIボットがサイトのテキストをスクレイピングするのを防ぐ新しいツールを導入した。同社によると、無料でサービスを利用している顧客も含め、すべての顧客にこのツールを提供するという。 生成AIの台頭により、企業はチャットボットをトレーニングするためのコンテンツを必要としている。多くの企業は、（「ChatGPT」が「Reddit」への投稿を利用してやっているように）分析用にサイトからテキストを抽出するウェブスクレイ
初学者が、Vite, Cloudflare D1, Drizzle, Remix で個人開発してみてよかったこと・わるかったこと - Qiita
R2 Super Slurperを使ってS3からR2へのデータ移行 こんばんは、DELTAの馬場です。今回はR2 Super Slurperに触れる機会があったのでそのレポート記事を書きます。 最近自社ではCloudflare いいじゃん！の波が来ていてR2のエグレス無料に惹かれたところもあり、S3のバケットのR2への移行補助ツールであろうR2 Super Slurperを試してみることになりました。 実際のバケットはかなりの量のファイルがあるため、検証用に10GiB程度のバケットを使って検証しています。 実施する前に 公式ドキュメント(https://developers.cloudflare.com/r2/data-migration/super-slurper/)を見ると以下の条件のものは移行されずskipされるのでrcloneとか使ってねの記載がありました。 単体のファイルサイズが
Webサイト運営においてCloudflareのようなCDNを使った場合、高スペックなレンタルサーバーの性能は活かされなくなるのでしょうか？
回答 (5件中の1件目) CDNが効くのは「大勢に同じデータを返す」場面のみです。 例えば quora のように各自が異なるタイムラインを見るようなサービスの場合はCDNの効果は限定的になります。（といっても、通信の半分以上はクライアントサイドの Javascript コード等であり、それは全ユーザー共通のなのでそこには効果があるわけですが） ニュースサイトやブログような広報型のサービスの場合、管理画面ではCDNが効きませんがそれ以外では「ほとんどをCDNが処理」しますので、最弱のレンタルサーバーでも余裕で回るようになります。
人工知能（AI）のトレーニングのためにAIボットがウェブサイトのコンテンツをスクレイピングするのが心配なら、Cloudflareがその対策に役立つ。 ウェブの約20％でプロクシとして利用されていると主張するCloudflareは、すべてのAIボットがサイトのテキストをスクレイピングするのを防ぐ新しいツールを導入した。同社によると、無料でサービスを利用している顧客も含め、すべての顧客にこのツールを提供するという。 生成AIの台頭により、企業はチャットボットをトレーニングするためのコンテンツを必要としている。多くの企業は、（「ChatGPT」が「Reddit」への投稿を利用してやっているように）分析用にサイトからテキストを抽出するウェブスクレイピングツールを利用している。ウェブスクレイピングボットについて隠し立てせず正直な企業もあれば、そうではない企業もある。 Cloudflareは2023年
もともと、Google reCAPTCHAは無料で月100万回の評価まで利用できました。 その無料枠が、1/100の1万回に縮小されました。 PV数が多いサイトで、全ページにGoogle reCAPTCHAを表示させているようなサイトでは、月1万回というのは簡単に到達してしまいます。 ですので、人気サイトではGoogle reCAPTCHA から 無料で制限なく使えるCloudflare Turnstileへの乗り換えを行っている人が多いです。 なぜ、Googleが無料枠をいきなり1/100にしてしまったのかよくわからないのですが、この無料枠の縮小は、多くの人には影響がない変更である、と考えています。
Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始 Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました。 生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。 しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。 Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。 下記がCloudflareのダッシュボード画面で、すでに
この記事では、Cloudflare PagesでGitサブモジュールを使う方法について、具体的な設定方法とともに解説します。 はじめに これまで、このブログのソースコードと記事をすべてひとつのリポジトリーにまとめて公開していたのですが、最近、ソースコードと記事を別のリポジトリーに分けて管理するようにしました。 ソースコードと記事のリポジトリーが分かれていた方が管理しやすい 記事のリポジトリーは非公開にしたい 記事内で画像を引用することがあるが、リポジトリーが公開状態になっていると、画像が単体で公開されてしまうため といった理由があります。このようにリポジトリーを分ける場合、記事のリポジトリーをソースコードのリポジトリーにサブモジュールとして追加すると便利です。 このブログで利用しているCloudflare Pagesでサブモジュールを使う方法についての記事があまり見当たらなかったので、今回
Cloudflare Pages・Workers + Hono + React + Chart.js で食べたリンゴの割合をグラフ化してみた - メモ的な思考的な
今まで、「食べたリンゴの割合をグラフ化するアプリ」をGoogle Cloud Runで動かしてきました。 Python + Django + Highcharts + Coogle Cloud Cloud Run + Cloud Storage + Litestream で食べたリンゴの割合をグラフ化してみた - メモ的な思考的な 運用する中で、 コールドスタートがやや気になる めったに使わないアプリとはいえ、使うときにはさっと起動すると嬉しい DB(Litestream + SQLite)をCloud Storageに置いているので、テーブルの中身を確認しづらい Cloud Runはほとんど費用負担が発生していない一方で、Cloud Storageで費用がかさんできた などを感じることがありました。 そんな中、Cloudflareがデータベース機能のD1を正式リリースしました。 データベ
高速化とユーザー体験の革新: Cloudflare × LINE勉強会 Vol.1【Hono/事例】 (2024/07/17 20:00〜)
CloudflareでReactアプリをデプロイする
はじめに タイトルそのままですが、CloudflareでReactアプリをデプロイしていきます。 Cloudflareの公式に手順があるので、基本的な流れはそちらに沿って進めれば良いかと思います。 手順の中で、ところどころ入力が必要なので、その辺を中心に説明します。 手順 事前準備 ローカル環境でnpmコマンドが使えるようにしておきます。 nodejsのインストールをすることでnpmコマンドが利用可能です。 Claudflareのプロジェクト作成 npm createコマンドでプロジェクトを作成します。 「claude-app-sample」の部分は任意でプロジェクトの名前を指定します。 --framework=reactでフレームワークを指定しており、ここでreactを指定することで、reactのアプリケーションの雛形が作成されます。 コマンドを実行したディレクトリの直下に指定した名前で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudflare 1.1.1.1 incident on June 27, 2024
Cloudflare、AIボットからウェブサイトを守る新機能を発表
Cloudflareが学習用データを収集するAIボットを一括でブロックする機能をリリース
Cloudflare、ワンクリックでAIボット、AIクローラーをブロックする設定を追加 | gihyo.jp
Cloudflare、AIスクレイピングを防ぐ無料ツールを提供
AWS S3 -> Cloudflare R2への移行を試してみた
Cloudflare、AIスクレイピングを防ぐ無料ツールを提供（ZDNET Japan） - Yahoo!ニュース
Google reCAPTCHAの無料枠が大幅縮小へ、Cloudflare turnstileに乗り換えるべき？
Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始
Cloudflare PagesでGitサブモジュールを使う方法 - ろぼいんブログ