検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 17 件 / 17件

新着順 人気順

ディープラーニングの検索結果1 - 17 件 / 17件

  • 中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！


    エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ﹃週刊 Life is beautiful﹄より読者Q&Aをご紹介。著者の中島さんは﹁Windows95の父﹂として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール‥中島聡︵なかじま・さとし︶ ブロガー／起業家／ソフトウェア・エンジニア、工学修士︵早稲田大学︶／MBA︵ワシントン大学︶。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。1ビットの高速推論AIチップ　米国より先に中国が開発する可能性も 読者からの質
      中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！

    • Generative Models

      2024年6月13日に大阪大学大学院 情報科学研究科で行った「情報科学特別講義Ⅰ」の講義資料です。 https://www.ist.osaka-u.ac.jp/japanese/news/newsDetailNews.php?id=308

        Generative Models

      • ウォンテッドリーのプロダクト開発における Python の開発・運用環境

        RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub

          ウォンテッドリーのプロダクト開発における Python の開発・運用環境

        • GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する

          対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「大規模言語モデル」（LLM：Large Language Model）の1つであり、本稿執筆時点（2023年12月）の最新バージョンは「GPT-4 Turbo」です。バージョンを追うごとに、精度向上などの進化を遂げてきました。 このGPTの核となるディープラーニング（深層学習）のモデルが「Transformer」です。前述のGPTの正式名称を見直すと、「T」はTransformerのTであることがわかります。このネ

            GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する

          • なぜゲイリー・マーカスはAGI早期実現に否定的なのか｜ララどり


            Gary Marcus本題に入る前に、ゲイリー・マーカスについて簡単に振り返っておきたい。 Gary Fred Marcus︵1970年生まれ54歳︶は、認知科学と人工知能の第一人者である。23歳でマサチューセッツ工科大学から博士号を取得、現在はニューヨーク大学の心理学および神経科学の名誉教授であり、人間の言語発達や認知神経科学に関する研究で知られている。彼は作家としての顔も持ち、ベストセラー﹁Guitar Zero﹂︵2012年︶を含む5冊の著書を執筆している。﹁The Algebraic Mind﹂︵2001年︶では、現在のAIシステムが直面するハルシネーション問題を予見している。また、機械学習会社であるGeometric Intelligenceの創設者兼CEOとなり、同社は2016年にUberに買収された[1]。 以上がマーカス氏の略歴であるが、シンギュラリタリアンである私にとって
              なぜゲイリー・マーカスはAGI早期実現に否定的なのか｜ララどり

            • 「AMD ROCm」が「WSL 2」にベータ対応 ～NVIDIAでいうところの「CUDA」に相当／マルチGPU、「Tensorflow」もサポート

                「AMD ROCm」が「WSL 2」にベータ対応 ～NVIDIAでいうところの「CUDA」に相当／マルチGPU、「Tensorflow」もサポート

              • WWDC24：機械学習とAIモデルをAppleシリコンに統合 | NEWS | Mac OTAKARA

                ※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。 Appleが、WWDC24において「機械学習とAIモデルをAppleシリコンに統合」を公開しています。 AppleのCore MLチームのエンジニアQiqi Ziao氏は、Core ML Toolsに加えられたいくつかのエキサイティングなアップデートについてお話しします。これらのアップデートは、機械学習やAIのモデルをApple Siliconでより良く活用するのに役立ちます。モデルデプロイのワークフローには3つの重要な段階があります。 私は準備段階に焦点を当て、多くの最適化を共有し、デバイス上でモデルを最も効率的に実行するための機能が含まれていることを確認します。このセッションでは、あなたがすでに機械学習モデルを持っていると仮定します。このモデルは、事前に

                  WWDC24：機械学習とAIモデルをAppleシリコンに統合 | NEWS | Mac OTAKARA

                • WWDC24：Apple プラットフォームでの機械学習の詳細 | NEWS | Mac OTAKARA

                  ※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。 Appleが、WWDC24において「Apple プラットフォームでの機械学習の詳細」を公開しています。 Appleのオンデバイス機械学習チームのAnil Katti氏は、AppleのOSやアプリケーションの多くの革新的な機能の根底には、高度な機械学習とAIモデルがあります。空間コンピューティングのためのジェスチャー認識、画像キャプチャのポートレートモード、健康のためのECGと心拍数のモニタリング。これらの機能はすべて機械学習とAIによって実現されており、これらの機能を支えるモデルはすべてデバイス上で動作すると説明しています。 今年のリリースでは「Apple Intelligence」がアプリやシステム全体の新機能をパワーアップさせ、エキサイティングな進化をも

                    WWDC24：Apple プラットフォームでの機械学習の詳細 | NEWS | Mac OTAKARA

                  • GENIAC: 172B 事前学習知見

                    はじめに 東京工業大学の藤井です。 今回は、GENIACにてNII 国立情報学研究所が現在(2024/7/1)も学習している172Bモデルに関連した事前学習パートに特化した学習知見について共有させていただきます。 この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の助成事業（JPNP20017）の結果得られたものです。 GENIACプロジェクトにおける分散学習環境の整備に関しても同様に記事を作成しています。 ぜひご覧ください。 LLMの学習 大まかにLLMを作成するための手順を下記に記しました。 今回は、これらの中でも特に"事前学習"に焦点を絞って知見の共有を行います。 現在の学習状況 まず、GENIACで学習しているモデルの現在の学習状況についてです。 2024/06/30現在、約1.45 T Token(1.45兆トークン)を事前学習にて学習済みです。 以下がそ

                      GENIAC: 172B 事前学習知見

                    • 2024年度 第38回人工知能学会全国大会（JSAI2024）参加レポート - Insight Edge Tech Blog

                      はじめまして！2024年5月よりInsight EdgeにジョインしたData Scientistの市川です。 まだ入社して間もないですが、オルタナティブデータを活用した案件や、金融市場のオプション等を活用した分析などに携わっております。 今回は、先日人工知能学会（JSAI2024）に行ってきましたので、そのレポートをさせて頂きます。 イベントの概要 発表の概要 [2J1-KS-19] 金融分野における大規模言語モデルの活用 [2A2-PS-2] 進化する大規模言語モデル [2O4-OS-25a] 不動産とAI [2O4-OS-25a-01] 住宅価格予測モデルの経時的な精度の変化分析 [2O4-OS-25a-02] 地理空間ネットワークデータと機械学習を用いた説明可能性の高い賃料予測 [2O4-OS-25a-03] 機械学習を用いた物件設備スコアの推定：不動産データを使用したケーススタデ

                        2024年度 第38回人工知能学会全国大会（JSAI2024）参加レポート - Insight Edge Tech Blog

                      • The 30th Symposium on Sensing via Image Information/Home page

                        SSII2024 Symposium Announcement The 30th Symposium on Sensing via Image Information will take place as shown below. We look forward to your participation! Date: Wednesday, June 12th, 2024 - Friday, June 14th, 2024 Venue: Pacifico Yokohama Annex Hall Details are posted on the SSII website. Note, that only the front page is available in English. Program is now available! Symposium Registration is op

                        • 明日使えるかもしれないLoss Functionsのアイディアと実装

                          特徴的な損失関数(Loss Functions)についてそのアイディアとPyTorchの実装を紹介。

                            明日使えるかもしれないLoss Functionsのアイディアと実装

                          • SSII2024 [SS1] 拡散モデルの今　〜 2024年の研究動向 〜

                            Scaling Rectified Flow Transformers for High-Resolution Image Synthesis / Stable Diffusion 3

                              SSII2024 [SS1] 拡散モデルの今　〜 2024年の研究動向 〜

                            • PKSHA製基盤モデルの特徴とは？　「Transformer」ではなく「RetNet」だから実現できた“3つの強み”

                              PKSHA製基盤モデルの特徴とは？　「Transformer」ではなく「RetNet」だから実現できた“3つの強み” 生成AIブームの今、注目のキーワードが「基盤モデル」だ。大量のデータを事前学習したAIモデルのことで、少しのチューニングを施せば、さまざまなタスクに対応できる。米OpenAIの「GPT-4」といった生成AIも包含する概念だ。 さまざまな企業が生成AIを使った業務効率化を試行錯誤する中、各AIベンダーたちの間では基盤モデルの開発競争が激化している。そこでこの特集では、基盤モデルを開発するAIベンダーに一問一答メールインタビューを実施。開発状況や独自の強みなどを探っていく。 今回は、日本マイクロソフトの技術支援の元で、独自の基盤モデルを開発する、AIベンチャー・PKSHA Technology（東京都文京区）に話を聞いた。 PKSHA Technologyの基盤モデルの特徴や強

                                PKSHA製基盤モデルの特徴とは？　「Transformer」ではなく「RetNet」だから実現できた“3つの強み”

                              • 深さ可変のMLPを見つけて目から鱗だった話 - Qiita


                                はじめに kaggle等でMLPの実装を探すと，kerasのSequentialにDense層やDropout層をaddしまくるような実装をよく見かけます． torch.nn.Moduleを用いた実装では，Linearと活性化関数を2,3個繰り返す実装が多いように思います． これらはMLPの概念に忠実な実装です． しかしMLPの中間層の数を簡単に自由に変更できれば，より柔軟な実装ができるかもしれません． ここで紹介するアイデアはシンプルで誰でも思いつきそうなものですが，レイヤ数が固定の実装ばかり見ていると考え方が固くなってしまい，筆者にとっては新鮮なものであったので記事にしました． Keras (Sequential) 中間層のサイズを指定して，for文でn_layer-2個のDense層とDropout層を追加すれば，可変個数の層を追加できる． from keras.models imp
                                  深さ可変のMLPを見つけて目から鱗だった話 - Qiita

                                • How Meta trains large language models at scale

                                  As we continue to focus our AI research and development on solving increasingly complex problems, one of the most significant and challenging shifts we’ve experienced is the sheer scale of computation required to train large language models (LLMs). Traditionally, our AI model training has involved a training massive number of models that required a comparatively smaller number of GPUs. This was th

                                    How Meta trains large language models at scale

                                  • T-LEAF: Taxonomy Learning and EvaluAtion Framework

                                    How we applied qualitative learning, human labeling and machine learning to iteratively develop Airbnb’s Community Support Taxonomy. By: Mia Zhao, Peggy Shao, Maggie Hanson, Peng Wang, Bo Zeng BackgroundTaxonomies are knowledge organization systems used to classify and organize information. Taxonomies use words to describe things — as opposed to numbers or symbols — and hierarchies to group things

                                      T-LEAF: Taxonomy Learning and EvaluAtion Framework
                                    1

                                    はてなブックマーク

                                    公式Twitter

                                    はてなのサービス

                                    • App Storeからダウンロード
                                    • Google Playで手に入れよう
                                    Copyright © 2005-2024 Hatena. All Rights Reserved.