「レト」を含む日記

■これオタクの知らないオシャレだから←普通にダサい

学マスのことねが髪ボサボサを端に再燃してるけど
他にもスリッパみてーな靴とか、あえて眉毛太くするとか
この手の、一見オシャレに見えないものを流行りのスタイルなんです！これだからオタクは……みたいなやつ。普通にダサいよな。その態度が。
自称オシャレ女さんのなかで流行ってるのか知らんけど、別にオタクじゃなくてもみんなそう思ってるよ。最先端のオシャレトレンドを知らなきゃよく見えないコーデって、裸の王様とおんなじなのよ。馬鹿には見えない服を着てる。
自分の周りの人間が、それは馬鹿には見えない服なんだ！オシャレなんだ！これをオシャレとわからない人間は馬鹿なんだ！ってやりたいんだろうけど。
はたして騙されてるのはどっちだって話だわな。
Permalink | 記事への反応(4) | 11:48 
ツイートシェア

■I.GPT-4からAGIへ：OOMを数える (6)

データの壁

これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。 
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である︵例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる︶。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック︵16回の繰り返し︶の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの︵効果的な︶計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ‥ダリオ・アモデイ︵Anthropic社CEO︶は最近、ポッドキャストでこう語った‥﹁非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法︵限られたデータからより多くのことを学べるようにするアルゴリズムの改良︶を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい‥
●現代のLLMが訓練中に行うことは、基本的に、教科書を非常に素早く読み飛ばすことであり、単語はただ通り過ぎていくだけで、それに頭を使うことはあまりない。 
●そうではなく、あなたや私が数学の教科書を読むときは、2、3ページゆっくり読み、その内容について頭の中で独白し、何人かの勉強仲間と話し合う。
●あなたや私も、もしLLMのように、密度の濃い数学の教科書をさらっと読むだけなら、そこから多くを学ぶことはできないだろう。
●しかし、限られたデータからモデルがより多くのことを学べるようにするために、人間がどのように密度の高い数学の教科書を消化するかを取り入れる方法があるのかもしれない。単純化すれば、このようなこと、つまり、教材について内部で独白すること、勉強仲間と議論すること、理解できるまで問題に挑戦して失敗することが、多くの合成データ／セルフプレイ／RLアプローチがやろうとしていることなのだ。
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力︵そして多くの失敗プロジェクト︶が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ︵例えば、難しい科学的問題に取り組む人々の推論チェーン︶ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo︵囲碁で世界チャンピオンを破った最初のAIシステム︶を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
●ステップ1では、AlphaGoは熟練した人間の囲碁の対局を模倣して学習させた。これで基礎ができた。
●ステップ2では、アルファ碁は自分自身と何百万もの対局を行った。イ・セドルとの対局での有名な37手目を思い出してほしい。極めて珍しい、しかし人間には決して打てない見事な手だ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である︵さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう︶。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう︶。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた︶。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。︶
続き I.GPT-4からAGIへ‥OOMを数える(7) https://anond.hatelabo.jp/20240605210017
Permalink | 記事への反応(1) | 20:57 
ツイートシェア

■アラサー女のマッチングアプリ雑感

社会勉強のためにやってみたマッチングアプリの感想を書き捨て。
まずは女性が無料で男性が基本優良なことに驚いた。同条件で良くないか？と思っていたが後々男性は有料にしないとやばいんだなと実感した。
アプリ上
・プロフの﹁〇歳です！﹂と名前の横に表示されている年齢に2，3歳ほど開きがあり、アプリの年季を察する。
・プロフの一行目に﹁n年間(そこそこ長い)付き合った彼女と別れたのでアプリ始めました﹂と書いてある男はなんのために書いているの？一途アピールなら行動で示した方が響く。一行目でその文章見えたらプロフ全部見ずに左スワイプする人多いと思う。
・画像が食べ物オンリーか非登録の男は金をドブに捨てていることに気付いてない？そういう人に限ってプロフも2行程度。その課金で焼肉行った方が幸せになれそう。
・10歳くらい年上の人でかなり真剣に婚活しているっぽいプロフの人がマッチ後メッセージやりとりしている中でセクハラ発言しまくってもったいなかった。性欲って不治の病なんだと思った。
・美容好きですって書いてる人に碌な人はいない。
・﹁年齢のわりに若く見られます！﹂←年相応しかいない
・﹁イケメン好きはマッチお願いします﹂←どれだけ大目に見ても普通。ガチのイケメン好きは商業用イケメンを見慣れているのでハードル高い。
・変なところに﹁笑﹂つけてる人がいてきしょい。
・プロフ︵年齢︶見てないのか？5歳年下の男がいいねしていて申し訳なくなり即左スワイプ。
・いくら本当のことでも﹁ご飯とお風呂が用意して貰えるのが楽だから実家に戻った﹂って言わない方が良い。嘘をつく必要はないけど言わない方が良い。
・マッチしてもプロフ読んでいない人だといちいち自己紹介や質問に答えるのが面倒。
・自称経営者で年収1200万↑が多すぎる。その若さで堅気の職でそのスペックならマッチングアプリなんてしなくても相手は選べるくらい見つかる。もしくは新人マーク外れない間にアプリ辞めることになっているはずだ。
・仕事に誇りを持っているっぽい感じの人に私も同職です！って言ったら露骨にテンション下がっていて面白い。
・夜職の営業っぽい人も多い。そういうマニュアルがあるのか？
・トイレ︵ホテルのオシャレトイレではなく公衆便所的なところ︶で自撮りするのなんか清潔感が八割減に見える。
実際会ってみて
・殺されるかもと思っていたが今のところは殺されていない。
・﹁割り勘で何が悪いの？﹂と思っていたが、好きな人と行く食事が割り勘で良いのであって興味ない人とご飯行くことは割り勘だとかなり腰が重くなることに気付いた。
・﹁甘いもの食べに行かない？﹂と言われて行ってみたらスタバのイチゴ飲むためにめちゃくちゃ歩かされた。
・適当に話を合わせてたら二回だけ会った人に話していて付き合ってほしいと言われて驚いた。
・短期決戦で告白するならコーヒー代くらいは奢った方が良いと思う。
・身長15cmくらい盛られてた︵プロフ上175㎝・実寸160弱︶。実際会うんだったら誤魔化すのは～5cmにしてほしい。誤差5㎝くらいは気にしないけど15㎝は流石に引く。
・目が勃起している男が実在するんだと勉強になった。
・普通のデザインの五分袖ロング丈ワンピース︵露出少ない︶を着てたら﹁童貞を殺す服だね﹂って言われてキモ過ぎて逃げた。
・暴言を散々吐いた後に﹁どうして会ってくれないんですか？﹂というメンヘラかヤンデレムーブは一回でも体面で会った後にすべきこと。
・初対面の相手に﹁性的なこと興味なさそうだよね﹂って言うな。曖昧な笑顔で応えたらどや顔すな。今日もpixivで推しCPのR-18タグ巡回したよ。
・趣味を聞いたら﹁カフェ巡り﹂などの無難な場合は﹁お前との関係性で話せる趣味はない﹂の意味です。
全て個人の感想です。
Permalink | 記事への反応(1) | 23:13 
ツイートシェア

■

マグナカルタとかブレトワルダとかなんか音の響きがカッコいいよな。

Permalink | 記事への反応(0) | 10:28

ツイートシェア

■anond:20240512161338

レトリカルな表現なのか、辞書的な意味でそのまま使われているのか、ふんいきじゃなくて言及先の人物が併用している表現をもとに推定できるようになろうね

Permalink | 記事への反応(0) | 16:22

ツイートシェア

■anond:20240512160750

レトリカルな表現に対して辞書筆頭の意味と違うと咬みつく

ネットによくいるただのアスペやんｗ

日本死ね（笑）

Permalink | 記事への反応(2) | 16:13

ツイートシェア

■anond:20240510183158

🐶「なんなのラブドールレトリイバアって！？怖っ！」

Permalink | 記事への反応(0) | 18:34

ツイートシェア

■どこで誰に言われたセリフでしょうか！？

「俺のことどう思う？」

「増田から見て結構アリな方？」

「好き寄り？嫌い寄り？」

「ハグして良いかな？」

「正直遊びたいって思ってる？

　俺で良かったら全然相手するよ」

「イったことある？」

「俺なら満足させてあげられるよ」

「顔見せて...」

エトセトラエトセトラキモキモセリフ

答え

路上教習中の車内で教官のオッサンに言われた

キッッッッショ過ぎたが貴重品は後ろの座席で逃げられないし歩いて帰れる距離じゃないし向こうは増田の住所と家族構成全部知ってるしそもそも密室である狭い車内で男の人と2人で数時間の教習で本当に怖かったので「え、えへへ〜...」しか言えなかった

触られたのも腕、手(急に恋人繋ぎしてきた)、頭(急に撫でてきた)、顔(顔見せて...のキショセリフの時)でいわゆるプライベートゾーンじゃないから事件にもならんしキショキショ会話も証拠残ってないしで警察にも言えないし、えへへ〜...しか言ってないので同意の上ですとか言われたらオワオワリ

車庫入れの時一回休憩行こっかとか言われたがその直前からめちゃくちゃ口臭予防のスプレーを使い始めたのであわよくばチューでもしてやろうと思ったんだろうな

いや無いやろ普通アタマおかしいんちゃうか

怖いのがコイツ子持ちの人妻なら何でも良いらしくてすっぴんマスクヨレヨレトレーナージーパンの増田にもそんなキショいことをしてきた

キショ会話によると何回も他の人妻教習生にも手を出している

増田はボディタッチ始まった時にダメと言えたから良かったが気が優しくて言えなかった人妻たちはそこそこエロいことをされていたようだ(そしてオッサンはそれを喜んでいた、と言っていたが酷い目に遭わされた人妻たちは怖くて怖くて動けなかったんだろうに、ほんまにかわいそう過ぎる...)

許さん

許さん

とりあえず消費者センターに電話したら良いのか？

Permalink | 記事への反応(1) | 20:29

ツイートシェア

■[廃人日記] 2024-03-15

日本人であるから、ノアの法を守れば神に認められるらしいです。
ではなぜ日本人である私は、聖書を学び始めったのでしょうか。
私は善悪や知恵には、単なる好き嫌いや相対主義を超えるものがあると考えています。
しかし何が﹁絶対﹂であるのかは全くわからないので、歴史的テキストとして聖書を学んでいるのです。
それを学んだことによって布教をするつもりもなければ、○○教徒であると言うつもりもないし、特定の民族に気に入られようと考える気もありません。
まだ学び始めて浅いのですが、これまで読んだのは、創世記、モーセ五書、箴言、コヘレトの言葉です。
実用的側面から、箴言・コヘレトの言葉・そしてヨブ記を読みたいと思ったのです。
なぜ実用的と思うかといえば、歴史的に残された﹁知恵﹂が現代に通じるのであれば、普遍的善悪について何かがわかるかもしれないからです。
私は﹁聖書の教えを守って神に認められよう﹂と考えているわけでは必ずしもありません。
それを﹁知恵﹂と呼ぶのであれば、善悪を判断したり、円滑に生きるために役に立つと言える何かがあると思うわけです。
いくつかの道徳や宗教が陥りがちな﹁相対主義﹂についていつも疑問に思います。
相対主義が極端な形になると、﹁倫理は人それぞれ﹂などと言い始める可能性があります。
すると、殺人を肯定するような価値観も﹁人それぞれだ﹂といって許されるということになりかねません。
ちなみにノアの法では殺人は禁止されます。
善悪について気にしなければならない理由、と言われてもすぐにはピンときませんが、少なくとも悪人にはなりたくないでしょう。
私は自分の遺伝的性格から、倫理的判断が苦手であり、それによって様々なトラブルを経験してきました。
そうすると、何が正しくて何が間違っているのか。それを知りたくて懇願しています。
世の中には、まるで蛇のように曲がったことを言う人たちがいます。
蛇に騙されて自分がどんどんと悪の方向に流されているなら、自分の中で善を持つ必要があると思うのです。
一般的な日本人が本能的レベルで倫理性を持っているところを、私は持っていないので、知恵の本に頼るしかないのです。
Permalink | 記事への反応(1) | 22:31 
ツイートシェア

■

ブレトンウッズ→ニクソンショック→BRICKSによるブレトンウッズ2.0

ってわりと陰謀寄りの話が陰謀でもなんでもなく現実味帯びてきたのかな

Permalink | 記事への反応(0) | 02:28

ツイートシェア

■エミュレータがアウトでレトロフリークがセーフな理由がわからん

レトフリもデータを吸い出してコピーしてる以上、似たようなものだと思うのだが・・・
データの汎用性や可搬性がないからセーフって発想なのん？
ようわからんな(。´・ω・)
Permalink | 記事への反応(0) | 22:43 
ツイートシェア

■anond:20240126185703

さてアスペはこの手の初歩的なレトリカルな文を理解できるか

Permalink | 記事への反応(0) | 18:58

ツイートシェア

■anond:20231213230611