サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
デスク環境を整える
joisino.hatenablog.com
拙著『グラフニューラルネットワーク』が重版して第 3 刷となりました。皆さまありがとうございます! 拡散モデルと最適輸送でもやりましたが、漫画家さんやイラストレーターさんが重版したときに重版感謝の描き下ろしイラストを投稿しているのを見ていいなと思ったので、僕も専門書が重版したときに重版感謝の書き下ろし専門記事を投稿します。 本稿では、ICLR 2024(5/7 - 5/11 @ウィーン)で発表されたグラフニューラルネットワーク (GNN) 関連の研究動向を紹介します。 ICLR 2024 で発表された GNN 関連の論文は全部で 170 本です。凄まじい量ですね。ICLR 2024 では全て合わせて 2296 本の論文が採択されたので、7.4 パーセントが GNN 関連ということになります。この分量からも、GNN が活気ある研究対象であることが伺えます。 以下では、代表的なトピックについて
グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤 竜馬講談社Amazon 講談社より『グラフニューラルネットワーク(機械学習プロフェッショナルシリーズ)』を上梓しました。 グラフニューラルネットワークはグラフデータのためのニューラルネットワークです。化合物やソーシャルネットワークのようなグラフデータの解析に使うことができます。また後で述べるように、テキストも画像もグラフなのでテキストや画像の分析にも使えますし、それらを組み合わせたマルチモーダルなデータにも適用できます。要は何にでも使うことができます。この汎用性がグラフニューラルネットワークの大きな強みです。 本稿ではグラフニューラルネットワークを学ぶモチベーションと、本書でこだわったポイントをご紹介します。 グラフニューラルネットワークは何にでも使える 付加情報をグラフとして表現できる グラフニューラルネッ
先日、博士(情報学)になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例:(半端)とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
『最適輸送の理論とアルゴリズム』が重版して第 5 刷となりました。皆さまありがとうございます! 漫画家さんやイラストレーターさんが重版したときに重版感謝の描き下ろしイラストを投稿しているのを見ていいなと思ったので、僕も専門書が重版したときに重版感謝の書き下ろし専門記事を投稿します。 本稿では、最近話題の拡散モデルと最適輸送の関係を直観的に解説します。 拡散モデルは画像の生成によく用いられる生成モデルです。モデルはノイズ入りの画像を受け取り、ノイズを除去することを目指します。生成時には、完全なノイズ画像からはじめて、モデルによりノイズを除去することと、微小なノイズを加えることを繰り返して洗練させていき、自然画像を得ます。 拡散モデルの動作の図示 このように、ノイズ から自然画像 までゆらぎながら変化する過程をブラウン橋 (Brownian bridge) と言います。ブラウン運動 (Brow
深層モデルのパラメータを一列に並べてベクトルにします。このベクトルは大規模なモデルであれば何十億次元にもなります。一見、意味のない数値の羅列のようですが、このベクトルはベクトルとして深い意味があることが分かってきています。例えば、 と を異なるパラメータベクトルとすると、 や をパラメータとして持つモデルはちゃんと機能します。本稿では、このようなモデルパラメータの算術を用いた手法とその背後にある理論について解説します。 モデルスープ タスクベクトル モデルパラメータとニューラルタンジェントカーネル おわりに モデルスープ モデルスープ [Wortsman+ ICML 2022] は複数のモデルパラメータを平均することで性能を上げる手法です。事前学習モデル からはじめて、様々なハイパーパラメータで訓練した結果のパラメータを とします。これらを平均したベクトル は個々のモデルよりも性能が高く、
IBIS 2023 のパネルディスカッション「君たちはどう研究するか」にて研究の取り組み方についてお話しました。この記事はそこでお話した内容を編集したものです。 🔍研究テーマの決め方について 📆 研究プロジェクトの進め方 😵💫 研究がうまくいかないときの対処法 📝 論文の書き方 おわりに 🔍研究テーマの決め方について 僕は研究テーマ選びはあまり重要ではないと考えています。どういうテーマにめぐり合うかは運なので、そこで思いつめても仕方がありません。なので、僕は自分から積極的にテーマを探しにいくということはしていません。それよりも、テーマを決めたあとの掘り下げ方という自分でコントロールする部分に集中して研究に取り組んでいます。 その人の地力によって、テーマとして成立させられるストライクゾーンが決まってくると考えています。初心者うちは、王道のテーマで王道のストーリーでしか成立させら
どのようにして論文を書いているかを尋ねられることが最近よくあります。場当たり的に回答することが多かったのですが、このことについて改めてしっかり考えて公開することにしました。 ここで扱う内容は、科学者とはこうあるべき、という理想論ではなく、等身大の大学院生がいかにして論文を捻りだすかという実践的な方法論です。科学者の規範に照らすと適切ではない内容もあるかと思いますがご容赦ください。その代わり、現役の大学院生にとってはただちに活用できる内容になったと思います。 以下では時系列に沿って各段階の方法について述べていきます。 アイデアを考える まずは論文のアイデアを収集します。僕は普段からネタ帳にアイデアを書き溜めていき、論文を書こうと思い立ったタイミングでその中からアイデアを一つ(または二つの組み合わせ)を選んで作業をはじめます。 どのようにアイデアを得るかはあまり一貫性がありません。ここでは代表
この記事は ゆゆ式 Advent Calendar 2017 - Adventar 24 日目の記事です。 はじめに joisino.hatenablog.com 前回、唯の画像を無限に生成することに(部分的に)成功した訳ですが、画像ができたら今度は声が欲しくなってきます。 そこで、 [1710.08969] Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention を chainer で実装して、唯の声で学習させてみました。 レポジトリ github.com レポジトリです。 結果 正直そこまでクオリティの高い声は生成できませんでした。 学習データが足りないのが一番の原因のようです。詳しい考察や解説は後回しにしてとりあえず結果を載せていきます
joisino.hatenablog.com ▲昔の記事 前回の試みから二年以上経ちましたがまだゆゆ式二期は発表されません。(*1) 二期が発表されないためこの記事のタイトルものんのんびよりさんから拝借することになりました。 やはり今話題のディープラーニングでなんとかするしかなさそうです。 三行で説明して Progressive Growing GAN (Tero Karras et. al. 2017) を chainer で実装して櫟井唯さん(ゆゆ式)の画像を生成しました。 こんな感じのができました。(下の方にスクロールするともっとたくさんあります。) github.com レポジトリです。 Progressive Growing GAN とは 浅いネットワークで小さい画像を生成・識別することからはじめ、段階的にネットワークと画像を大きくしていく手法です。太古に流行った AE の事前学
はじめに IOI 2013 オーストラリア大会に Art Class という問題があります。 この問題は、画像データが与えられるのでその画像が 様式1(新造形主義の現代芸術) 様式2(印象派の風景画) 様式3(表現派のアクション・ペインティング) 様式4(カラーフィールド・ペインティング) のいずれであるかを判定する問題です。 正答率が 0.9 以上になると満点が得られます。 IOI にしては珍しい機械学習的な問題であることと、ジャッジが壊れて結果が返ってこなくなったことなどで有名なので、知っている人も多いかもしれません。 問題文やデータは、 http://www.ioinformatics.org/locations/ioi13/contest/ から手に入ります。 普通の解法 例えば 3x3 と 65x65 の大きさの窓を作って分散を計算して、それらを使って手で決定木を作るなどすると解
いくら待てどゆゆ式二期の発表がないのでそろそろ僕の櫟井唯ちゃん資源が枯渇してしまいそうです そこで今話題のニューラルネットワークに唯ちゃんの画像を無限に生成してもらうことにしました とりあえずこちらがデモです(設定の読み込みにかなり時間がかかります) Mugen Yuichan ランダムに生成したサンプルです 一応はっきりと唯ちゃんだと分かる 使ったのはDenoising Autoencoder(DAE) ふつうのAutoencoderの入力にノイズを加えて学習させるだけです(今回はガウス分布のノイズを加えました) ノイズ除去に使えたり生成モデルを作れたりします DAEについては深層学習 (機械学習プロフェッショナルシリーズ)を参考にしました 作り方 まずはゆゆ式の本編から唯ちゃんの顔部分だけ切り抜きます この作業はこのページを参考にさせていただきました ご注文はDeep Learning
このページを最初にブックマークしてみませんか?
『ジョイジョイジョイ』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く