「クロール」を含む日記

■anond:20240713140530

楽しく運動する範囲だと大してカロリー消費しなくない……？3キロぐらいクロールでもしてるの？

Permalink | 記事への反応(1) | 14:06

ツイートシェア

■anond:20240707222534

俺はクロールをして50メートルおよいだら

教師「犬かきにしかみえなかった。後半は溺れているようにしかみえなかった。」

って言われて50メートル泳ぎ切ったことなかったことにされた

スイミングスクールに通ってる奴らだけが評価された

そこから俺は教師が嫌いになった

Permalink | 記事への反応(0) | 22:27

ツイートシェア

■

クロールの息継ぎって右だっけ？左だっけ？

あれ？？？

Permalink | 記事への反応(2) | 23:09

ツイートシェア

■anond:20240629134903

クロールがつらかったん

Permalink | 記事への反応(1) | 13:50

ツイートシェア

■anond:20240628220617

90%の人間は自分の頭で考えてない

ネットをクロールして集めたデータをAIが学習するのと全く同じ

たくさん見た情報を学習してそれを繰り返してるだけ

はてなの政治バカな気狂いどもを見ればわかるだろ？

似たり寄ったりのバカが群れをなしてお互いを褒めあっている

そうやって脳みそ空っぽの生体botが量産されていく

Permalink | 記事への反応(1) | 23:23

ツイートシェア

■【最後のチャンス】猿でも反AIでもわかる「COPAINTER 対策」の不毛さ

　COPAINTERのAIペン入れ機能が話題になって、またぞろ反AIがバカみたいな﹁COPAINTER対策﹂を始めてるから、そんなものに意味は全くないということを根本的な仕組みから説明をするよ。
　あれほんとマジで竹槍でB29を落とそうとするくらい無意味な行為なので、そこのムカッときた反AIも謙虚になって読むことを勧めるよ。
　この記事でわかることは以下のことだよ。
●﹁学習される﹂ことと﹁i2iの下地にされる﹂ことの違い
●﹁COPAINTER対策﹂がなんの意味もないこと
　

生成AIの仕組み

　イラスト生成AIの基本的なアルゴリズムは大雑把に言えば﹁ノイズから逆算して元画像を想像する﹂だよ。
　画像にぼかしをかけていくと、最終的にどんな絵も何が描いてあったかわからないようなノイズになるよね？
　それを逆算して、最初のノイズからありそうな元画像を想像してでっち上げるのが画像生成AIだ。
　この﹁逆算過程﹂に学習した生成モデルが使われるんだ。
　つまり、
ノイズ画像︵単なるランダム︶…①
↓
生成モデルによる逆算︵学習データの使用︶…②
↓
生成画像
ということだ。これを拡散モデルという。
　
　さて大事なのはここからだ。
　反AIは﹁画像を使う﹂という言葉をすべて﹁学習﹂とイコールで考えてるけど、すでにリリースされたサービスのほとんどはその時点で学習を終えていて、チューニングを済ませてる。そうしないと品質が安定しないからね。
　反AIの恐れてる﹁画像使用﹂のほとんどは、学習ではなく﹁i2iの下地にされる﹂ことを意味してるんだ。これは上の図だと、②で使われる学習モデルではなく、学習の絡まない①の過程に使われるということだ。
　i2iとは一言で言えば、①のランダムノイズに参考にしてほしい画像を混ぜること。
　そうすると、完全なランダムのノイズから﹁元画像﹂を想像するよりも、こちらの意図通りに完成品をイメージしてくれるんだ。当たり前だけどね。
　さて、ではこの違いが﹁COPAINTER対策﹂の無意味さにどう繋がるのかを次の項目では説明していくよ。
　

﹁COPAINTER対策﹂の無意味さ

　COPAINTERのペン入れAIは、上の説明でいうなら何をしているんだろう？
　もうわかると思うけど、i2iだよね。
　つまり、

　COPAINTERに学習対策をしても意味がない……イ

　i2iは学習ではないので、学習対策をしても意味がない。
　さらにいうと、

　i2iには、そもそもどんな対策もない……ロ

　i2iによる画像の不正利用はあくまで悪意のある人の手によって行われるものだ。極端な話、元画像を人の手で雑にトレスした後に、ペン入れAIのようなものにかければ、画像に透かしを入れようがなにしようがなんの意味もないってことくらいは誰でも想像つくんじゃない？
　学習対策はそもそもオートでクロールする大量学習を妨害するためのもので、人力で多少の手間をかけられたらあっさり意味をなくすものだ。
　猫画像なんかを混ぜた、ペン入れAIがうまく機能しなかった、それが何？　悪い人はそんなのさっさと塗りつぶしてからトレスして終わりだよ。その程度の切り貼りはきれいに補正してくれるのがAIなんだから。
　
　さらに酷なことを言うなら、

　学習対策自体の効果が検証できない……ハ

　ということもよく考えればわかるよね。
　既存のサービスはすでに学習を終えてるんだから、そこで何をやっても学習対策効果の検証にはならない。
　それができるとすれば唯一、ローカルの学習環境を整えて追加学習などをわざわざ自分でさせてみたときだけだ。
　それだって、何をもってして﹁うまく学習できなかった﹂のかなんて確実な評価は誰にもわからない。
　そもそも﹁うまく学習できたか﹂だって、曖昧で難しいんだから。
　
　まとめると、イ、ロ、ハにより、﹁画像加工による学習対策はCOPAINTERには効果がないし、COPAINTERを使ったラフ画像の盗用に対する対策なんてことは不可能、さらに画像対策自体が本当にうまくできるのか検証できない︵最低でもローカル学習環境を構築しない限り︶﹂というのが現実ということ。
　竹槍で飛行機落とそうとしてることがわかったかな？
　そんなことを試そうとするよりは、例え一人でだろうととにかくAI禁止のデモで一秒でも多く外に出る方がなんぼか効果があるよ。少なくとも科学的に不可能な方法ではないんだから。
Permalink | 記事への反応(3) | 08:15 
ツイートシェア

■

クロールで50メートルを50秒→10秒休み×5セットで5分くらいが限界ギリギリな感じだし測りやすいしちょうどいいな

Permalink | 記事への反応(0) | 14:22

ツイートシェア

■anond:20240611145850

pyppeteerでクロール専用に特化したコンテナを運用することのどこがおかしいんだ？

お前、実運用でクローラ書いたことある？

Permalink | 記事への反応(1) | 15:09

ツイートシェア

■anond:20240611142102

相手サイトは「このURLをクロールしてください、UAにこの文字を含ませてください」とは言うが、サイトがxmlとかのプレーンになってることまでは保証してないってだけだが

Permalink | 記事への反応(1) | 14:25

ツイートシェア

■anond:20240611135840

マイクロサービスに対する俺の認識は﹁何らかの処理やIOを行うまとまりが、コンテナによって分けられたもの﹂というもの。
だからクロールという機能を分離してコンテナ化していれば、それはマイクロサービス。
Permalink | 記事への反応(4) | 14:00 
ツイートシェア

■anond:20240611135352

クロールってのは標準のフォーマットがあって、WARCファイルというのがある

このWARCファイルを一旦保存しておいて、毎日S3にアップロードしてる

S3を操作するコンテナが別途あって、アップロードされてきたWARCファイルをDBに読み込む操作がある

Permalink | 記事への反応(1) | 13:55

ツイートシェア

■anond:20240611134832

ブラウザを使ってクロールしてるんだよ

headlessモードって知ってる？pyppeteerを基本は使ってる

といっても、相手サイトは予めこちらのクロールを許可しているので、UAに特定の文字列を送って承認してもらってるが

Permalink | 記事への反応(2) | 13:51

ツイートシェア

■anond:20240611120041

言語は？
phpとpython
フレームワークは？
phpはlaravel, pythonは機械学習にpytorchとsklearnを使っている
インフラの構成は？
AWSでマイクロサービスアーキテクチャをやっている。
主に
●クローラ
●フロントエンド
● Elasticsearch
●バッチ処理 (cronサーバー)
という4つが動作中。
検索なんかGoogle一強なのに自作のエンジンってどういうニッチなの？
﹁コンテンツ検索エンジン﹂と言ったが、要するに﹁何のコンテンツなのか﹂ってのがビジネスとしてキーになってる。
何のコンテンツかを言うと企業名がバレるので言わないが、レシピとか求人とかいくらでもあるよな。
そういうメタサーチエンジン(複数のコンテンツ提供者のサイトから許可を得てクロールして集約したサイト︶を作ってる。
Permalink | 記事への反応(4) | 12:08 
ツイートシェア

■

SearchConsole で自動生成されたようなクエリパラメーター付きのURLが大量にリストにある

有効なページはそこまで多くないのに、それらのせいでページ数が数万とかになってる

もちろん robots.txt や noindex や canonical はついてるからインデックスはされてないんだけど、SearchConsoleの管理画面に一覧に URL として並んでる

こういうのがあるから有効なページがクロールされるのが遅かったりするのかと思う

実際のページが 500 でも数万件あるとみなされてればクローラーは数万件を処理するわけだし

インデックスに登録されないとサイト内検索が使えず不便

Permalink | 記事への反応(0) | 22:06

ツイートシェア

■anond:20240605082626

インターネットアーカイブはクロール型なので、お前の意思で保存はできないって話をしているんだが

日本語難しかったか？

ちなみにインターネットアーカイブの関係者なんだよなーｗ

馬鹿に馬鹿にされるのおもしろいなーｗ

Permalink | 記事への反応(0) | 08:37

ツイートシェア

■anond:20240518063049

なんて怠惰な

全インターネットを隅々まで自動でクロールするのが永続してると思ってたのに

Permalink | 記事への反応(0) | 07:28

ツイートシェア

■「このゲームオススメだよ！　推定プレイ時間：１００時間」←タイパわっる！

コスパはいいのかもだけどさあ。
小学生の頃とか同じゲームで2ヶ月とか持たせてたけどさあ。
学生の感覚だと面白くて長持ちするゲームはいいのかもだけどさあ。
やっぱ社会人的には長くとも30時間ぐらいでそのゲームのエキスを吸い尽くしたいんだよね。
理想は5～10時間。
値段が１０００円で1時間ぐらいで終わるワンアイデアゲーとかもいいよね。

ゲーム業界って学生やニートや低所得層もターゲットにしてるせいか﹁ボリュームがスゴイ！﹂﹁ずっと遊べる！﹂みたいなのが持て囃される部分があるじゃん？
でもそれって面白さを測る指標に遣っちゃ駄目だよなあと思うわけ。
プレイ時間はプレイ時間。
面白さは面白さって感じでさ。
長くプレイ出来てずっと楽しいゲームはあるんだろうけど、それでもやっぱボリュームに比例して中弛みはやっぱ大きくなるじゃん？
ベゼスターゲー︵エルダースクロールやフォールアウト︶とか特にそうじゃん。
めっちゃ面白い瞬間もあるけど、そこそこ楽しいからダラダラ続けてるけど何かこれダルいわ～～～みたいな時間も結構長いっていうか。

オススメされたゲームが短時間で終わるっていうのも、学生時代だったら﹁オススメされたからやったら10時間で終わった！フルプライスなのに！？お小遣いが貯まるまで勉強でもしてろってこと？？？﹂みたいになってたかもだけど、今はもう社会人だからさ。
社会人が社会人にゲームおすすめしてる時に﹁ボリュームが凄いんだぜ？﹂は貧乏臭すぎね―か？
子供が産まれて小遣い減って飲み会のことも考えたらケチケチしたいとかはあるのかも知れんがよ、それでもやっぱオススメ理由からプレイ時間は抜くべきだと思うわけよ。

端的に言うとさ、俺は﹁長く遊べる、ボリュームが凄いを理由に含めてのオススメ﹂が大嫌いなのよ。
これはもうゲームに限らず映画でも小説でもそう。
全20巻の大人気シリーズ！とか言われてもドン引きしかないわけ。
そのうち半分ぐらいは一度火がついた人気からの惰性で、読者の多くはオチが気になるから我慢して読んでるだけじゃねーのかって思ってならないわけよ。
マジさ、ダラダラ引き伸ばしてるのを﹁たくさん楽しめる！﹂みたいに評価するならそうしてるってハッキリ言ってくれよ。
おすすめ理由として良し悪しと長さは分けて欲しいんだよね本当に。
Permalink | 記事への反応(6) | 19:57 
ツイートシェア

■はてなーは画像生成AIを誤解しているようだけど

はてなーは﹁電子書籍が出れば紙書籍が売れなくなるのは当然の流れ﹂というノリで生成AIとイラストレーターのことを語ってるけど、実際のところは﹁漫画村で読めるから単行本は買わない﹂というノリに近いのが今の生成AIの現状なんですよ。
ここら辺は漫画家の中でも理解できていない人がいて、森川ジョージさんが正にそれで同業者からフルボッコにされている真っ最中なんだけどね。
還暦近い方なので仕方ないところではあるんだけど、漫画家協会の理事やってるから面倒なんだよなぁ、マジで。
　
　
それはともかく、画像生成AIは数億のイラストを元にして絵を生み出してるんだけど、その元となったイラストはほぼ全部無断転載で、中には児童ポルノ画像まで入ってるのまで有って問題になっているんですよ。
なので欧米では法で規制しようかという話も当然のように出ているわけです。
将棋AIはAI同士で対局を繰り返してその棋譜を元に強くなるんだけど、画像生成AIは現状はどうしても人間が描いたイラストを元にせざるを得ないので問題を孕みまくっているんですよね。
　
　
クリーンなデータセットを元に学習すれば良いんだけど、そのようなイラストは現状だと著作権切れの古いイラストしかないんじゃないかな？
そんな面倒なことをせず、Pixivというジャップが大量に良いイラストを纏めてくれてるからクロールしてぶっこ抜いて使おうぜ、というのが今の画像生成AIの現状だと思う。
　
　
それでも身内だけで使ったり、自分の画力向上のための添削ツールとして使ったりするくらいならまだ理解できるんだけど…
現状だと﹁才能ないし努力もしたくないけど、SNSで漫画やイラストでチヤホヤされてるインフルエンサーが羨ましくて仕方が無い！　でも自分では努力したくないでござる！﹂というクズが画像生成AIで勝ち誇ったり、勝手に嫉んだ漫画家やイラストレーターに似た画風の画像を出力して誹謗中傷に使ってるから問題になっているんだよ。
先月までアニメやってた﹁即死チートが最強すぎて、異世界のやつらがまるで相手にならないんですが。﹂の主人公のクラスメイトが他人から貰ったチートでイキってたけど、正にあんな感じのクズが量産されてるんだよね。︵﹁即死チート﹂の作者は人間の愚かさというものがよくわかってらっしゃる。︶
　
　
そして最近だと更に先鋭化してAIを使ってるに違いない、とAI警察化して勝手に認定して冤罪発生させまくりなんだよなぁ。
イラストレーターが潔白証明しても耳を貸さないし、懲りないし、本当にクズなんだわ…
とにかく、功罪のうち、罪の方が大きすぎるのでイラストレーターや漫画家はピリピリしてるんですよ。
　
　
はてなーの中には﹁Winny本体が悪いんじゃなくて、悪用するユーザーが悪いんだ！﹂という人が居るかもしれないけど、今の画像生成AIは﹁違法画像を大量に同梱したWinnyを配布している﹂状態なんですよ。
ダメに決まってるだろ、常識に考えて。
　
　
さっさと法規制して欲しいものだけど、日本でそれ関係の国会議員である赤松健氏はこの件に関しては動くことは期待できないと思うんだ…
だってデビュー作が﹁AIが止まらない﹂だよ？
AIが擬人化して開発者である主人公とラブコメする作品を描いた人なんだよ？
最新作の﹁UQ HOLDER!﹂では人類の進歩を全肯定し、そのために血を流しながら前に進むような漫画を描いた人だよ？
AIという先進技術を規制するのとは正反対の立場な人なんですよ。
なので、イラストレーターや漫画家諸氏は赤松健氏以外の議員にロビー活動をした方が良いと思います。
Permalink | 記事への反応(2) | 21:23 
ツイートシェア

■anond:20240401155117

パイプラインと言ったらデータ収集から訓練までの一通りのことを言うよ

で、じゃあデータはどうしているのかというと、クロールしてる

あるコンテンツの検索エンジンを作っているのだけど、基本的にはデータはクロールで確保

で機械学習の教師データは？というのは、distant supervisionでラベルづけしてるよ

Permalink | 記事への反応(1) | 15:53

ツイートシェア

■anond:20240401152523

俺が書いたことがあるのは以下
●NLP系のタスク。情報検索、推薦システム、文書分類、クロール等。
● 社内のセールス系連中の仕事の自動化
●Webシステムのバックエンド (php, python, java, perl)
Permalink | 記事への反応(3) | 15:30
ツイートシェア

■[感想]ラチェット＆クランク パラレル・トラブル　PS5

とりあえずクリア

難易度は一番低いやつ

プレイ時間はわからんが多分15時間くらいか？

途中詰まりそうになったときもあったけどなんとかクリアできてよかった

ｐｓ２の１はラストステージで詰まってクリアできんかったからなー

ロックマンのワイリーみたいな立ち位置なんだなラチェクラのラスボスって

リベットがかわいかったなー

声もあってた

逆にラチェットは眉毛ぶっといしもさくてきもかった

画面のきれいさとロードのなさはすぐ慣れて、後半は逆につまんなかったなー

クランクメインのパズルステージもつまんなかった

最初の1時間くらいの楽しさだけで十分だったかなー

まちとかステージのオブジェクトもやたらリアルで数おおいけど、逆にそのせいでどれが壊せるものかとか、

大事な隠しアイテムかとかがすげーわかりにくくなっててイライラした

最後の最後でアクセシビリティってオプション設定あることしって、インタラクトできる箱とかゴールデンボルトとかギミックとかの色を変えたらすげープレイしやすくなったわ

最初からしとけばよかった

近距離のレンチなぐりはなぐってる感あるからいいけど、

わりとメインのはずの遠距離武器の爽快感がいまいちだったのは微妙だったなあ・・

イージーでも敵硬すぎたから余計にそういう感じした

近距離攻撃とどかねえから遠距離必須みたいな敵やボスが多いから余計に感じた

ベルトスクロールみたいにエリア内の敵倒さないと次に進めないのが結構あるけど、

終わってるかどうかがすげーわかりにくくて、終わってないのに進もうとして死ぬってのも何回かあってうざかったなー

まあ1回やればいいかなって感じ

スターオーシャン６とかもこういう感じで交互に見せてくれればよかったのになと

ラチェットとリベットで2週させられてたらクソうざかったと思うわ

こんな感じで1周で両方みせてくれたらいいんだよ

Permalink | 記事への反応(0) | 21:52

ツイートシェア

■絵師さんは何もおかしなことを言っていない