今回公開するモデルは、プロンプトから画像を生成するEvo-Ukiyoeと、古典籍の挿絵をカラー化するEvo-Nishikieモデルです。これらのモデルが、歴史や文化を学ぶための新たなコンテンツ作成に利用され、浮世絵に関する興味を増すことにつながり、日本や世界の人々が浮世絵や日本文化に興味を持つきっかけを生み出すことを期待しています。 概要 Sakana AIは、日本の美を学んだAIとして、浮世絵風画像生成モデルEvo-Ukiyoeと、浮世絵カラー化モデルEvo-Nishikieを公開します。Sakana AIが進化的モデルマージによって構築した日本語対応画像生成モデルEvo-SDXL-JPを基盤とし、浮世絵画像を大規模に学習することで、日本語に対応し、かつ浮世絵の特徴を学んだ画像生成モデルができました。 このリリースの要点は以下の通りです。 Evo-Ukiyoeは、日本語のプロンプトを入力
GENIAC: 172B 事前学習知見
はじめに 東京工業大学の藤井です。 今回は、GENIACにてNII 国立情報学研究所が現在(2024/7/1)も学習している172Bモデルに関連した事前学習パートに特化した学習知見について共有させていただきます。 この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の助成事業（JPNP20017）の結果得られたものです。 GENIACプロジェクトにおける分散学習環境の整備に関しても同様に記事を作成しています。 ぜひご覧ください。 LLMの学習 大まかにLLMを作成するための手順を下記に記しました。 今回は、これらの中でも特に"事前学習"に焦点を絞って知見の共有を行います。 現在の学習状況 まず、GENIACで学習しているモデルの現在の学習状況についてです。 2024/06/30現在、約1.45 T Token(1.45兆トークン)を事前学習にて学習済みです。 以下がそ
2024年度 第38回人工知能学会全国大会（JSAI2024）参加レポート - Insight Edge Tech Blog
はじめまして！2024年5月よりInsight EdgeにジョインしたData Scientistの市川です。 まだ入社して間もないですが、オルタナティブデータを活用した案件や、金融市場のオプション等を活用した分析などに携わっております。 今回は、先日人工知能学会（JSAI2024）に行ってきましたので、そのレポートをさせて頂きます。 イベントの概要 発表の概要 [2J1-KS-19] 金融分野における大規模言語モデルの活用 [2A2-PS-2] 進化する大規模言語モデル [2O4-OS-25a] 不動産とAI [2O4-OS-25a-01] 住宅価格予測モデルの経時的な精度の変化分析 [2O4-OS-25a-02] 地理空間ネットワークデータと機械学習を用いた説明可能性の高い賃料予測 [2O4-OS-25a-03] 機械学習を用いた物件設備スコアの推定：不動産データを使用したケーススタデ
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「大規模言語モデル」（LLM：Large Language Model）の1つであり、本稿執筆時点（2023年12月）の最新バージョンは「GPT-4 Turbo」です。バージョンを追うごとに、精度向上などの進化を遂げてきました。 このGPTの核となるディープラーニング（深層学習）のモデルが「Transformer」です。前述のGPTの正式名称を見直すと、「T」はTransformerのTであることがわかります。このネ
中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
特徴的な損失関数(Loss Functions)についてそのアイディアとPyTorchの実装を紹介。
Scaling Rectified Flow Transformers for High-Resolution Image Synthesis / Stable Diffusion 3
![SSII2024 [SS1] 拡散モデルの今 〜 2024年の研究動向 〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/cd7bb61d0fc9e95ba77f8f29fea53e4172c6fddc/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F8c0306a81d9148f1a5d83ecfaa487a38%2Fslide_0.jpg%3F30590790)
2024年6月13日に大阪大学大学院 情報科学研究科で行った「情報科学特別講義Ⅰ」の講義資料です。 https://www.ist.osaka-u.ac.jp/japanese/news/newsDetailNews.php?id=308
As we continue to focus our AI research and development on solving increasingly complex problems, one of the most significant and challenging shifts we’ve experienced is the sheer scale of computation required to train large language models (LLMs). Traditionally, our AI model training has involved a training massive number of models that required a comparatively smaller number of GPUs. This was th
The 30th Symposium on Sensing via Image Information/Home page
SSII2024 Symposium Announcement The 30th Symposium on Sensing via Image Information will take place as shown below. We look forward to your participation! Date: Wednesday, June 12th, 2024 - Friday, June 14th, 2024 Venue: Pacifico Yokohama Annex Hall Details are posted on the SSII website. Note, that only the front page is available in English. Program is now available! Symposium Registration is op
PKSHA製基盤モデルの特徴とは？ 「Transformer」ではなく「RetNet」だから実現できた“3つの強み”
PKSHA製基盤モデルの特徴とは？ 「Transformer」ではなく「RetNet」だから実現できた“3つの強み” 生成AIブームの今、注目のキーワードが「基盤モデル」だ。大量のデータを事前学習したAIモデルのことで、少しのチューニングを施せば、さまざまなタスクに対応できる。米OpenAIの「GPT-4」といった生成AIも包含する概念だ。 さまざまな企業が生成AIを使った業務効率化を試行錯誤する中、各AIベンダーたちの間では基盤モデルの開発競争が激化している。そこでこの特集では、基盤モデルを開発するAIベンダーに一問一答メールインタビューを実施。開発状況や独自の強みなどを探っていく。 今回は、日本マイクロソフトの技術支援の元で、独自の基盤モデルを開発する、AIベンチャー・PKSHA Technology（東京都文京区）に話を聞いた。 PKSHA Technologyの基盤モデルの特徴や強
※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。 Appleが、WWDC24において「機械学習とAIモデルをAppleシリコンに統合」を公開しています。 AppleのCore MLチームのエンジニアQiqi Ziao氏は、Core ML Toolsに加えられたいくつかのエキサイティングなアップデートについてお話しします。これらのアップデートは、機械学習やAIのモデルをApple Siliconでより良く活用するのに役立ちます。モデルデプロイのワークフローには3つの重要な段階があります。 私は準備段階に焦点を当て、多くの最適化を共有し、デバイス上でモデルを最も効率的に実行するための機能が含まれていることを確認します。このセッションでは、あなたがすでに機械学習モデルを持っていると仮定します。このモデルは、事前に
※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。 Appleが、WWDC24において「Apple プラットフォームでの機械学習の詳細」を公開しています。 Appleのオンデバイス機械学習チームのAnil Katti氏は、AppleのOSやアプリケーションの多くの革新的な機能の根底には、高度な機械学習とAIモデルがあります。空間コンピューティングのためのジェスチャー認識、画像キャプチャのポートレートモード、健康のためのECGと心拍数のモニタリング。これらの機能はすべて機械学習とAIによって実現されており、これらの機能を支えるモデルはすべてデバイス上で動作すると説明しています。 今年のリリースでは「Apple Intelligence」がアプリやシステム全体の新機能をパワーアップさせ、エキサイティングな進化をも
How we applied qualitative learning, human labeling and machine learning to iteratively develop Airbnb’s Community Support Taxonomy. By: Mia Zhao, Peggy Shao, Maggie Hanson, Peng Wang, Bo Zeng BackgroundTaxonomies are knowledge organization systems used to classify and organize information. Taxonomies use words to describe things — as opposed to numbers or symbols — and hierarchies to group things
GPT解説2 アテンションの仕組み (Attention, Transformer) | Chapter6, 深層学習
“ラズパイ5”にNPU追加できる「Raspberry Pi AI Kit」 最大13TOPSの推論性能 日本では近日販売へ
「実装段階ではサーバーはどんな仕組みになるのか」「価格はどのくらいか」──。2月下旬、人工知能（AI）開発を手掛けるプリファードネットワークス（PFN、東京・千代田）が開いた、AIのディープラーニング（深層学習）向け独自半導体チップ「MN-Core」についての勉強会の一幕。通信会社やデータセンター関連企業の社員らから熱心な質問が飛んだ。日の丸半導体復活への期待が高まる中、日本で有望なスタートア
はじめに この記事ではHugging Faceという🤗なサイトでAIのデモを作ってみることを説明します。 ただし、この記事に書いてある方法でデモを作ったとして、そのデモにより起きることに責任は持てません。あらかじめご了承ください。 Hugging FaceのZeroGPUとは ZeroGPU とは、デモの利用者が使う瞬間だけ高性能なGPUが借りられるというサービスです。現在はA100 40GBが一瞬借りられます。これを実現できているのは世界でHugging Faceだけでしょう。お値段は月額9ドル（約1500円）です。もし、ZeroGPUがなかったら、私は計算上40万円以上月に払っていることになります。それぐらいコスパの良い実験的サービスです。ぜひ使いましょう。 （ZeroGPUのページより引用） ZeroGPUの事前準備 まず、適当なクレジットカードを用意してください。次に、Huggi
この連載ではおなじみのキャラクター「明日来子さん」に右側からライトを当ててみた。左がIC-Lightを適用したもので、右がオリジナル。環境はWebUI Forge用の拡張機能を使用 5月8日に、「ControlNet」など画像生成AI関連の著名研究者であるイリヤスフィール（lllyasviel）さんが発表した「ICライト（Imposing Consistent Light、印象的な一貫的なライト）」が盛り上がりました。入力した画像をもとに、後から指定した照明効果を踏まえた画像を生成する技術です。 画像生成AIで照明効果がつけられる「ICライト（IC-Light）」 発表された学習済みモデルは、「ライトを指定すると、キャラクターのデータに合わせてテキストのプロンプトに合わせて独自に背景を生成するもの」「キャラクターとライトの影響を加味して、別の背景画像と合成するもの」の2種類があります。これ
「Graph Game」はニューラルネットワークの構造をグラフで作成するゲームです。AI技術の発展と共に頻繁に目にするようになった「ニューラルネットワーク」をどの程度理解しているか試せるゲームとのことなので、実際にプレイしてみました。 Graph Game - By Sabrina Ramonov https://graphgame.sabrina.dev/ サイトにアクセスするとこんな感じ。「RNN」「LSTM Cell」「GRU Cell」「ResNet Block」「Deep RNN」という5つのステージが用意されています。まずは「RNN」をクリックしてみます。 「x_t」「h_t」「y_t」という3つの箱が出現しました。それぞれの箱はデータを表しており、上が出力で下が入力となっています。「x_t」の上の○をクリックし、ドラッグして「h_t」の下に接続します。 緑の線で接続が表示され
ロボット工学セミナー：「ロボットのためのLLM・VLM 利活用」 2024年5月23日 ⾃⼰教師あり学習は，ラベルなしデータを⽤いた事前学習法である．⾃⼰教師あり学習では，データから正解ラベルを⾃動で作成できるプレテキストタスクにより事前学習を⾏い，様々な下流タスクに効果的な特徴表現を獲得する．対照学習に基づく⼿法が教師あり事前学習法と同程度以上の学習効果が⽰されて以降，対照学習の派⽣⼿法が数多く提案された．また，Vision Transformer (ViT) の台頭以降は，ViT の構造に合わせた⽅法として Masked Image Modeling が提案され，現在に⾄るまで盛んに研究が⾏われている．本チュートリアルではまず⾃⼰教師あり学習の概要と代表的な評価⽅法について紹介し，対照学習と Masked Image Modeling ⼿法について解説する．
AIの仕組みであるLLMの「ブラックボックス」の内部を見てどのニューラルネットワークが特定の概念を呼び起こすかを知る試みをAnthropicが解説
チャットAI「Claude」などを開発するAI企業「Anthropic」がAIモデルの内部動作について、何百万もの概念がどのように表現されているかという研究結果を報告しました。 Mapping the Mind of a Large Language Model \ Anthropic https://www.anthropic.com/research/mapping-mind-language-model AIモデルの本体である大規模言語モデル(LLM)の出力はブラックボックスとして扱われており、入力に対応して出力が行われた時になぜその特定の応答が出力されたのかは不明となっています。そのため、モデルが有害・偏見・ウソなどの危険な出力をしないことを信頼するのは難しいものです。 Anthropicは以前よりLLMの内部についての研究を行っており、2023年10月には「特徴」単位でまとめるこ
tf.kerasが終了 Keras 3がTensorFlowから独立し、マルチバックエンド復活！：TensorFlow 2＋Keras（tf.keras）入門 TensorFlow＋Kerasの最新情報として、Keras 3.0のリリースに伴い、TensorFlowから独立し、TensorFlow 2.16以降でKeras 3がデフォルトとなったことについて紹介します。また、Keras 3（TensorFlowバックエンド）での書き方や、今後のディープラーニングライブラリの選び方についても私見を示します。 連載目次 もう4年も前になりますが、2020年5月に「マルチバックエンドKerasの終焉（しゅうえん）、tf.kerasに一本化」という記事を書きました。しかしその後、逆の動きが起きています。本稿では、前回の記事をフォローアップする目的も兼ねて、最新の状況をお伝えします。 そもそもKer
最近、プロセッサに「NPU」と呼ばれる人工知能（AI）処理に特化したユニットが搭載されるのがちょっとしたブーム（？）になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。 プロセッサに搭載されている「NPU」って何？ Intelの最新プロセッサ「Core Ultra」には、人工知能（AI）処理に特化した「NPU」が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？ 写真は、Intelのプレスリリース「AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー」のCore Ultraプロセッサーの写真を使って、「CPU」「GPU」「NPU」の文字を載せたもの。 今回のお題は「NPU」である。出だしから注釈になってしまうが、NPUと
文中の図は理がない限り、原論文あるいはドキュメントからの引用です。 KANってなに？ KAN（Kolmogorov-Arnold Network） は2024年4月30日にプレプリント公開サイトarXivに投稿された論文 にて提案された従来のMLPとは異なる新たなニューラルネットワーク構造です。1 コルモゴロフ・アーノルド表現定理（Kolmogorov-Arnold representation theorem）に基づいて設計されており、非線形な活性化関数そのものを直接学習することから、パラメータ効率が良く、学習結果の解釈可能性が高いことが特徴です。 上の画像は$x, y$を入力として$\exp(\sin(\pi x)+y^2)$を正解として学習させるケースを示した図ですが、元の関数の関係性がそのまま活性化関数の形状として学習され現れていることが読み取れます。 コルモゴロフ・アーノルド表現
【DL輪読会】Evolutionary Optimization of Model Merging Recipes モデルマージの進化的最適化
Google DeepMindがすべての生命分子の構造と相互作用をきわめて正確に予測できるAIモデル「AlphaFold 3」を発表
LLM時代のX情報収集術｜べいえりあ
◆深層学習において、過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術を実現しました。 ◆本技術は、深層学習におけるパラメータ空間の高い対称性を活用し、実際に学習することなく低コストな変換により数秒～数分程度で一定の精度を実現できるため、モデルの再学習コストを抜本的に削減できることを示しました。 ◆これにより、NTTが研究開発を進める大規模言語モデル（LLM）「tsuzumi（*1）」をはじめとした多様な基盤モデル（*2）の運用コスト削減・消費電力の削減や、多数のAIで議論することで多様な解の創出をめざしたAIコンステレーション（*3）の構想具現化など、次世代のAI技術開発に貢献します。 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、深層学習において過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sakana AI
なぜゲイリー・マーカスはAGI早期実現に否定的なのか｜ララどり
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
「AMD ROCm」が「WSL 2」にベータ対応 ～NVIDIAでいうところの「CUDA」に相当／マルチGPU、「Tensorflow」もサポート
GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する
ウォンテッドリーのプロダクト開発における Python の開発・運用環境
明日使えるかもしれないLoss Functionsのアイディアと実装
深さ可変のMLPを見つけて目から鱗だった話 - Qiita
SSII2024 [SS1] 拡散モデルの今 〜 2024年の研究動向 〜
Generative Models
How Meta trains large language models at scale
WWDC24：機械学習とAIモデルをAppleシリコンに統合 | NEWS | Mac OTAKARA
WWDC24：Apple プラットフォームでの機械学習の詳細 | NEWS | Mac OTAKARA
T-LEAF: Taxonomy Learning and EvaluAtion Framework
「謎のAI半導体メーカー」が400兆円企業に 快進撃は1本のメールから
プリファードネットワークス、AI半導体でNVIDIA追う 省エネに勝機 - 日本経済新聞
Hugging FaceのZeroGPUでAIのデモを作る方法: 初級編 - Qiita
AIアプリ活用のカギはCPU、GPU、NPUそれぞれへの最適化 ～なぜ今がAI PC向けアプリ開発スタートアップに好機なのか[Sponsored]
![AIアプリ活用のカギはCPU、GPU、NPUそれぞれへの最適化 ～なぜ今がAI PC向けアプリ開発スタートアップに好機なのか[Sponsored]](https://cdn-ak-scissors.b.st-hatena.com/image/square/89e9b0f336f2429ce4a8de07e8667d591ebdf999/height=288;version=1;width=512/https%3A%2F%2Fpc.watch.impress.co.jp%2Fimg%2Fpcw%2Flist%2F1593%2F306%2F002.jpg)
画像生成AIに照明革命 日本と世界で同時に“神ツール”登場 (1/3)
自分がどれくらいニューラルネットワークを理解しているかを確かめられるゲーム「Graph Game」
⾃⼰教師あり学習によるビジョン基盤モデルの事前学習
Graph Game - By Sabrina Ramonov
tf.kerasが終了 Keras 3がTensorFlowから独立し、マルチバックエンド復活！
第288回 人工知能時代には必須か？ 最近、プロセッサに搭載されている「NPU」って何
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
グーグルのAI祭り「Google I/O 2024」基調講演を総まとめ
本家Examplesで知る、新たなニューラルネットワーク『KAN』の威力 - Qiita
【DL輪読会】KAN: Kolmogorov–Arnold Networks | ドクセル
AlphaFold 3 predicts the structure and interactions of all of life’s molecules
世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現～NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に～ | ニュースリリース | NTT