サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
やる気の出し方
deeplearning.hatenablog.com
メンヘラちゃんがディープラーニングの最新論文をバリバリ語ってくれるシリーズです.Twitterに投稿したスライドをまとめました. サムネ画像 スライド内のテキスト抽出(検索エンジン用) メンヘラちゃんと学ぶ ディープラーニング最新論文 製作: Ryobot はじめに 作者 • Ryobot (りょぼっと) • NAIST修士2年.RIKEN AIP勤務 (2017/7~) • チャットボットの個性と多様性の研究をしています • Twitter@_Ryobot でお気に入り論文を紹介しています スライドの概要 • メンヘラちゃんが最新論文をバリバリ語ってくれます • 分野は主に自然言語処理 (機械翻訳と言語理解) です • Twitter で投稿したスライドのまとめです メンヘラちゃん • ジョイネット様制作のLINEスタンプです • 作者様がフリー素
Ryobot です. 今週 5 日連続でニューラル機械翻訳の論文解説をやりました. もとは NAIST の第1回ニューラルネットワーク勉強会の発表資料で,大幅に加筆してひとりアドベントカレンダー? に変貌しました. 今回紹介した論文は大規模な対訳コーパスにおける評価スコア上位 5 手法で,最先端のニューラル機械翻訳を網羅しています. 近年の傾向をまとめると LSTM を使わず CNN 等の並列化が容易な手法を使う 大規模コーパス + 巨大なモデル + 大量の GPU というわけで厳しい世界ですね. 1日目 GNMT Google翻訳の中身 GNMT です. 2016 年までのニューラル機械翻訳を最速で把握できる資料になっています. NMT 初心者におすすめです. 2日目 MoE MoE は最大 13 万のサブネットワーク (パラメータ数 1300 億!) を持つ超巨大ネットワークを条件付き
こんにちは Ryobot (りょぼっと) です. 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している. わずかな訓練で圧倒的な State-of-the-Art を達成し,華麗にタイトル回収した. また注意を非常にシンプルな数式に一般化したうえで,加法注意・内積注意・ソースターゲット注意・自己注意に分類した.このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる. WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
声に出して読みたい英語. Also, RNNs aren't dead. Autoregressive CNN/intra-attentive models *are* RNNs. Their state is their output.— Colin (@colinraffel) 2017年8月9日 RNN は死んでいない.自己回帰 CNN と注意 (の再帰的構造) は RNN だから.それらの状態は (内部状態ではなく) 出力にある. こんにちは Ryobot (りょぼっと) です. ConvS2S は脱 RNN による系列方向の並列化という風潮を決定づけたニューラル機械翻訳の手法です.GNMT より高性能かつ訓練も 5 倍高速です.従来の意味で RNN は死にましたが,冒頭の意味で RNN は生まれ変わりました. WMT'14 の BLEU スコアは英仏: 40.51, 英独: 25
こんにちは,Ryobot です. 本稿では ParlAI の基本的な使用法やユーザーが独自に定義できるエージェントの実装方法を解説しました. 以下,PyTorch, Chainer, TensorFlow によるエージェントの実装例を GitHub にて公開したので適宜ご覧ください. ParlAI Agent examples with PyTorch, Chainer and TensorFlow 目次 ParlAI とは? インストールから example 実行まで ParlAI Agent の実装方法 1. 実装の流れ 2. PyTorch で RNNAgent を実装する 3. Chainer で RNNAgent を実装する 4. TensorFlow で RNNAgent を実装する 5. PyTorch で AttentionAgent (seq2seq with Atten
こんにちは,Ryobot (りょぼっと) です. 概要 「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである. 本稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し,論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻訳して補足説明している. 目次 メモリモデルの概説 Memory Networks (MemNN) 1 メモリネットワークの概要 2 基本モデル 3 拡張モデル 4 実験 Towards AI-Complete Question Answering (bAbI task) 1 メモリネットワークの拡張 2 bAbI タスク 3 実験 長文である.ざっくり知るだけなら「メモリモデルの概説」と Memory Networks
本稿ではニューラルネットワーク,誤差逆伝播法,言語モデル,RNN,LSTM,ニューラル機械翻訳の一連の手法について数理的に解説する. 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
このページを最初にブックマークしてみませんか?
『ディープラーニングブログ』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く