サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
デスク環境を整える
isobe324649.hatenablog.com
全3回のシリーズパート2の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 (2.1)各技術の定性的な説明(本記事) (2.2)Transformerのアルゴリズム詳細 (2.3)GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
2023/3/23 追記: こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での本記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 (ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。) −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング(DNN)のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研究者ではない私の独自の解釈が
本エントリは、僕の10代~30歳手前くらいまでに直面し対処した(僕にとっては)割と大きな人生の課題についてです。*1 小中学生時代から雑談が出来なかった(今でも苦手) 僕は小学校~中学校に掛けて、「自分から話しかける」ことが出来ない人間だった。話しかけて無視されたら怖いし(たぶん傷ついて2週間くらい誰とも話せなくなる)、そもそも話しかけるキッカケすらない。 だから、その頃の僕の「友達のできかた」は、もっぱら「何かの拍子に僕に話しかけてくれる親切なやつ」をアリジゴクのように待つ、という感じだった。 こういってはなんだが、コミュニケーション能力が壊滅的でありながら僕は「じぶんの『友達づくりのスタンス』がアリジゴク的であること」を自覚できるくらい頭が良かった。それが自己嫌悪に拍車をかけ、ますます「自分から他人に話しかけられない病」が重症化していった。 そういうコミュ障男子でも中学生時代になると、
このページを最初にブックマークしてみませんか?
『conceptualization』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く