サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Nintendo Direct
www.nomuyu.com
数学 時系列分析 線形代数 自然言語処理 Multi-Head AttentionとScaled Dot-Product Attentionの全て:Transformerの核心を徹底解説 この記事では、Transformerの中心的な役割を果たすMulti-Head Attentionについて解説する。 Transformerのほかの機構の詳細な解説はせず、完全にMulti-Head Attention特化の解説となるので、ほかの機構や全体観を掴みたい方はこちらの記事をご一読いただきたい。 この記事はまずはScaled Dot-Product AttentionというMulti-Head Attentionの中で使われている核心部分についてこれでもかと詳しく解説したのちに、本題のMulti-Head Attentionについて解説し、その後Transformerのデコーダー部分で使われる二
近年のAI技術の急激な発展には「Transformer」という深層学習モデルの存在が大きく関わっている。 この記事では、そのTrasformerについてその仕組みとそれがなぜ組み込まれているかを画像をふんだんに使用して徹底的に解説している。 必要な知識はなんと高校数学と行列の足し算、掛け算のみ! 今後のAI社会において理解しておいて絶対に損はないので、ぜひ読んでほしい。 Transformerってなに??Transformerは、もともと機械翻訳の深層学習モデルとして2017年にGoogleが"Attention is all you need"という論文で発表された。 Transformerは、系列データ→ベクトル→系列データという経路で情報を処理するEncoder-DecoderモデルというジャンルのAIである。 機械翻訳では、Encoderに入力された文章を特徴量ベクトル化し、Dec
データ分析や機械学習の分野で広く用いられるコサイン類似度は、ベクトル間の類似性を測定する強力なツールである。 この記事では、コサイン類似度の基本原理から、高次元データでの振る舞い、そして次元の呪いに対処する方法までを詳細に解説する。 データサイエンティストや機械学習エンジニアにとって重要なこの問題を、わかりやすく、段階的に理解し、実践的な解決策を身につけるための一助となることを目指す。 【定義】コサイン類似度とは何かコサイン類似度は、特に二つのベクトル間の角度を利用して、それらがどれだけ似ているかを測る指標である。 具体的に、\(n\)次元ベクトル \(\boldsymbol{x}\) と \(\boldsymbol{y}\) が与えられたとき、コサイン類似度は以下の式で定義される: $$ \begin{aligned} & \boldsymbol{x}=\left(\begin{arra
2023年は僕にとって生活面で少し変化がある年で ブログとしてもかなり変化した。 具体的には迷走をしてふわふわしていたブログから、数学と機械学習の理論について深堀りしまくるガッチガチの難しそうなブログになった。 どちらがいいのかは一概には分からない。個人的にはもっと楽しめるブログにしたいと思っている 一月 試験三昧。かなりしんどかったのを覚えている。年始には帯状疱疹に罹患していた。 二月 何してたかあまり記憶も記録もない。 唯一覚えていることとしては Udemyをコツコツやって ... さあ、やってきました。 僕がこの一年間で一番聞いた音楽を発表するヘビロテ選手権! 音楽の好みが非常に偏っていることでお馴染みの僕だが、 逆に言うと刺さる人には刺さり、刺さらないひとにはとことん刺さらない そして別に2022年にリリースされた曲に限らないという「どこ向けの記事なんなんだ!」と言わざ
僕が大学受験において一番時間をかけて、一番得意だった数学 ほんっとうにめちゃめちゃな数の参考書、問題集をこなしました みたいにやってない参考書があると不安になるんですよね でも今なら胸を張って言えますが あっちこっち参考書に手を出すよりも、自分がコレと決めた参考書をやり抜いて完璧にする方が圧倒的に効率がいいです なので、みなさんの参考書選びの一助となるようこの記事では 参考書マニアの僕の典型数学力を盤石のものにしてくれた 医学部攻略の数学 を紹介したいと思います 本記事を読めば、どんな参考書なのか、実際に行った勉強法、その効果が具体的に分かると思います 振り返ってみれば、僕が圧倒的な数学力を付けるうえで必要不可欠な参考書だったと確信しているので本当におすすめの参考書です 医学部攻略の数学ってどんな参考書? 「医学部攻略の数学」は河合出版から発行されている「Ⅰ・A Ⅱ・B」と「Ⅲ」の二冊で構
ゲームをしているとめっちゃいいプレイできたときとか録画して残しておきたいですよね。 あと自分のプレイとか後から見返して、分析したりして後からも楽しんだりしたいですよね ですが、ゲーム起動するたび録画ソフト開いて録画開始ボタンを押すのはめんどくさいし、動画ファイルを管理するのも面倒という僕みたいな人間にはこれまでなかなかいいソフトありませんでした。 むかしPlays.tvというソフトを使っていましたが、2019年12月15日にサービスが終了してしまったので、悲しみに暮れていました。 僕だけでなく多くのゲーマーが「何で録画したらええねん、、、、」となっていたことは想像に難くありません。 ですが、とうとう見つけました。 今回紹介するソフトはOutplayedというソフトです。
今回の内容は物事で成長するのに欠かせないインプットとアウトプットの考え方についての記事です。 この考え方は自分にとって新しい能力を身につけようと思ったときにとても重要な考え方です。 それは勿論勉強でも、スポーツでもゲームでも同様に使えるので少し抽象度の高い話になってしまいますが、なるべく例などを交えて伝わるように書こうと思いますので是非ご一読いただけたら幸いです。 正直この考え方はこれまでの受験勉強を始めとした僕の散々苦労してきた経験から学んだことなのであまり人にそれを教えるというのは気が進まなかったのですが、一度こうして言葉にしてみるのは自分にとってもプラスだと思ったので一度書いてみます。 要はガチな記事です 思考法の種類について 今回の話はある種思考法に関する話ですのでまずは二種類の思考法について話そうと思います。 ゼロベース思考法 これは、既にある枠組みに囚われずに、目的に向かって白
因みに自分、この「新・物理入門」もやってます 先に「理論物理への道標」をやっての「新・物理入門」でしたが 物足りなく感じました というのも新物理入門に僕が抱いた印象は すごくコンパクトにまとまってるなぁというものです 特に、理論の部分が凄くコンパクト。 物理の本質を理解するには足りないかなぁと思います。 逆にさっと復習したい。直前期とかに見返したいとかにはすごく向いてるなと思いました 時間がないけど、物理で点数が取れるようになりたい方などにはおすすめできます。 ですが、物理に対して本質までしっかり理解したいという熱量が凄くある方には断然「理論物理への道標」をおすすめします! 他には有名な物理参考書というと エッセンス、良問の風、名門の森、難問題の系統とその解き方物理などがありますが 僕は当ったり前のように全部やりました。その所感として 難易度としては エッセンス<良問の風<名門の森<理論物
このページを最初にブックマークしてみませんか?
『www.nomuyu.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く