3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transformerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transformer written by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya (Submitted on 13 Jan 2020 (v1), last revised 18 Feb 2020 (this version, v2)) Comments: ICLR 2020 Subjects: Machine Learning (cs.L
現在の人工知能(AI)を取り巻く環境では、 大規模言語モデル(LLM)の話題から、ますます大規模なニューラルネットワークの開発競争が起きている。しかし、すべてのアプリケーションが、大規模なディープラーニングモデルの計算量とメモリの要求をできるわけではない。 このような環境の制約が、いくつかの興味深い研究の方向性につながっている。MIT(マサチューセッツ工科大学)の CSAL(コンピュータ科学・人工知能研究所)の研究者が開発した新しいタイプのディープラーニングアーキテクチャ「Liquid Neural Networks」は、特定の AI 問題に対して、コンパクトで適応性が高く、効率的なソリューションを提供する。これらのネットワークは、従来のディープラーニングモデルに内在する課題のいくつかに対処するように設計されている。 Liquid Neural Network は AI の新たなイノベーシ
株式会社 Preferred Networks 岡野原 大輔 @hillbig 生成モデルは世界を どのように理解しているのか 「統計的機械学習」の中核としての 統計数理シンポジウム 2023/05/25 アジェンダ • 現在の代表的な生成モデル 大規模言語モデル/ 拡散モデル • 自己教師あり学習 / メタ学習 • 未解決問題 岩波書店 2023 一般向け 関連書籍 岩波書店 2023 専門家向け 技術評論社 2021 2022 ディープラーニングの基礎知識 日経BP 2022 個別の深い話題 生成モデル x ~ p(X | C) X: 生成対象 C: 条件 • 生成モデル:対象ドメインのデータを生成できるようなモデル – テキスト、画像、動画、化合物、行動列 等 – 条件を通じて、制約、指示、対象ドメインなどを指定する (条件付き生成モデルの方が学習の面でも使いやすさの面 でも有利であ
Ever since Stable Diffusion took the world by storm, people have been looking for ways to have more control over the results of the generation process. ControlNet provides a minimal interface allowing users to customize the generation process up to a great extent. With ControlNet, users can easily condition the generation with different spatial contexts such as a depth map, a segmentation map, a s
Understanding how the brain organizes and accesses spatial information — where we are, what’s around the corner, how to get there — remains an exquisite challenge. The process involves recalling an entire network of memories and stored spatial data from tens of billions of neurons, each connected to thousands of others. Neuroscientists have identified key elements such as grid cells, neurons that
1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデルが・・・ 4. 技術的な工夫点 4.1 データセットの前処理 4.2 GPT-neoxの活用 4.3 並列VMでの学習 4.4 モデルアーキテクチャの工夫 5 学習したGPTのアウトプット例 5.1 失敗モデルたちの作品集 5.2 完成モデルの出力例 5.3 少しFine-tuningした結果 6. 最後に 6.1 採用メッセージ 6.2 ABEJAで学習したGPTモデルの今後について 1. はじめに こんにちは、ABEJAの服部です。昨日、ABEJAが主催しているABEJA SIX2022でも発表がありましたが、NVIDIA社の
はじめに はじめに ホモグラフィ推定とは 特徴量ベースの手法 特徴点の抽出・特徴量の計算 LIFT: Learned Invariant Feature Transform [1] SuperPoint: Self-Supervised Interest Point Detection and Description [2] LoFTR: Detector-Free Local Feature Matching with Transformers [3] 対応関係の計算 Learning to Find Good Correspondences [4] Neural-Guided RANSAC: Learning Where to Sample Model Hypotheses [5] 画像マッチングベースの方法 Deep Image Homography Estimation [7] C
ここ数ヶ月くらい、推薦システムにおけるNNの活用というテーマで論文をちょこちょこ読んでいました。 推薦システムにNNを適用・応用するという守備範囲も広いテーマではありますが、せっかく良い機会なので自分用にまとめてみたいと思います。 理解が曖昧なところもあり、マサカリが飛んできそうな気配がプンプンしますが、がんばって書いてみたいと思います。マサカリコワイ... 前提知識 協調フィルタリング Matrix Factorization Factorization Machine ニューラルネットワークの推薦システムへの応用の傾向 Feature EngineeringとしてのNN Wide & deep DeepFM DCN AutoInt DCN V2 系列データとして取り扱うNN prod2vec AttRec BERT4Rec Transformers4Rec 参考文献 読んだ論文をまとめ
2021 edition disclaimer Check the repo’s README.md and learn about: Content new organisation The semester’s second half intellectual dilemma This semester repository Previous releases Lectures Most of the lectures, labs, and notebooks are similar to the previous edition, nevertheless, some are brand new. I will try to make clear which is which. Legend: 🖥 slides, 📝 notes, 📓 Jupyter notebook, 🎥
Twitter: ottamm_190 追記 2022/4/24 speakerdeck版:https://speakerdeck.com/masatoto/shen-ceng-xue-xi-falsebu-que-shi-xing-uncertainty-in-deep-neural-networks コンパクト版:https://speakerdeck.com/masatoto/shen-ceng-xue-xi-niokerubu-que-shi-xing-ru-menRead less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く