[B! LLM] yamada_kのブックマーク

加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実

加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pmJST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。いくつかの興味深い事象が起きているからだ。昨日発表されたKarakuri社のLLM、﹁KARAKURI LM 8x7B Instruct v0.1﹂は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の﹁命令実行﹂チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

yamada_k 2024/06/22

LLM

リンク

【随時更新】主要な大規模言語モデル比較表

これはなに？ひょんなことからOpenAI・Anthropic・GoogleのLLMの一覧表を作りました手前味噌ながら便利だなと思ったのでZennにも載せておきます各社のモデルの主要諸元・費用に加えて、自分の印象を書いてあります。性能の目安としてChatbot Arenaのスコアを参考までに添付していますこれはあくまで参考用かつ英語での評価なので、スコアが一番高いものがいい、もしくは低いからダメというわけではありません。少なくともこの記事に掲載されているモデルは、スコアが低いものでも単純な翻訳などでは十分な性能を持っています。そして何より高性能モデルとは比較にならないほど高速です。用途や使用言語によって試してみて最適なものを選ぶのが良いでしょう OpenAI 歴史的経緯もあり、以下の表に掲載するもの以外にも大量のモデルがあります。一旦は最新のモデルを列挙します。モデル名A

yamada_k 2024/04/29

LLM

リンク

生成AIの「RAG」とは？知っておきたい重要キーワードを解説する【イニシャルB】

yamada_k 2024/04/14

LLM

リンク

⼤規模⾔語モデルの拡張（RAG）が終わったかも知れない件について

Zero Waste, Radical Magic, and Italian Graft – Quarkus Efficiency Secrets

yamada_k 2024/04/09

LLM

リンク

OpenAI、ファインチューニングAPI機能追加と「Custom Models Program」拡張を発表

OpenAIは、使いやすい生成AIツールを一般向けに提供することで知られているが、開発者や企業が自社の特定用途向けにAIモデルを必要とする場合に向けても包括的な製品を提供もしている。OpenAIは米国時間4月4日、﹁Custom Models Program﹂の拡張とファインチューニングAPI向け6機能を発表した。ファインチューニングは、特定の用途やニーズを満たすようAIモデルをカスタマイズするために時間を要するプロセス。ファインチューニングはAIモデルが意図されたゴールをよりよく達成するのを支援するだけでなく、コスト削減とレイテンシー低下も可能にする。場合によっては、必要なカスタマイズの量がファインチューニングで提供できるものを超えることもある。例えば、組織が非常に大規模な独自のデータセットを持っている場合がこれに該当する。この問題に対処するため、OpenAIは2023年11月に﹁C

yamada_k 2024/04/06

LLM

リンク

「ChatGPT」の次に来るサービスは何か？　注目を集める「AIエージェント」　従来の生成AIとの違いとは

﹁ChatGPT﹂の次に来るサービスは何か？　注目を集める﹁AIエージェント﹂　従来の生成AIとの違いとは‥小林啓倫のエマージング・テクノロジー論考︵1/4 ページ︶ 2022年11月に登場した米OpenAIのチャットAI﹁ChatGPT﹂は、約2カ月で1億人のユーザーを獲得し、生成AIの実力をまざまざと見せつけた。あっという間に人々の話題を独占し、いまやChatGPTや生成AIという単語をニュースで見かけない日はない、と言っても過言ではない。そうなると気になるのが、﹁ChatGPTの次にくるのは何か﹂という点だ。気が早いといわれるかもしれないが、ChatGPTが一夜にして人々の未来予想図を書き換えてしまったのを見ると、できる限り早く次のトレンドを把握したいのが人情というものだろう。そうした﹁次﹂の候補として有力視されているものの一つが﹁AIエージェント﹂︵AI Agent︶である。﹁

yamada_k 2024/04/06

LLM

リンク

ChatGPTをカスタマイズした独自AIを作成、ストアで広く提供できる「GPTs」

米OpenAIのチャット型AI﹁ChatGPT﹂を基に、言語学習やカスタマーサポートなど、特定用途向けにカスタマイズしたAIを作成できるサービス。作成したAIを集めたストアで、広く提供することも可能。米OpenAIは2023年11月、同社のAIチャットサービス﹁ChatGPT﹂をカスタマイズして独自のAIチャットサービスとして提供できる機能﹁GPTs﹂の提供を開始した。GhatGPTの有償版サービス利用者向けに提供する。 GPTsはChatGPTのスマホアプリからは作成できず、Web版サービスから作成する。プログラミングの知識は不要で、やりたいことをチャットで説明すると、その内容に沿ったGPTsが自動作成される。プレビュー画面で動作を確認しながら、チャットでさらにカスタマイズして、アイデアさえあればGPTsを作成できる。 GPTsはファイルをアップロードしたり、APIを使って外部のデータ

yamada_k 2024/04/03

LLM

リンク

LLMの現在 - Speaker Deck

今のLLMを取り巻く状況について紹介します。

yamada_k 2024/03/29

LLM

リンク

「Transformer」後継と期待される「RetNet」活用　PKSHAが日英対応の独自LLMを開発　日本MSも協力

AIベンチャー・PKSHA Techno logy︵東京都文京区︶は3月28日、﹁RetNet﹂技術を活用した日英大規模言語モデル︵LLM︶を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Techno logyの上野山勝也代表は﹁これによって生成AIの活用が一段前に進む﹂と自信を見せる。左から、PKSHA Communication、PKSHA Workplaceの佐藤哲也代表、PKSHA Techno logyの上野山勝也代表、日本マイクロソフト執行役員常務最高技術責任者の野嵜弘倫さん、PKSHA Techno logyアルゴリズムエンジニア VPoEの森下賢志さん、PKSHA Techno logyアルゴリズムリードの稲原宗能さん今回開発したLLMの最大の特徴であるRetNetとは﹁Retentive Netwo

yamada_k 2024/03/28

LLM

リンク

アップル、高度な言語理解を持つ新型AIモデル「MM1」を発表

アップルの研究チームは3月14日、画像とテキストを理解し処理する能力を持つマルチモーダル大規模言語モデル「MM1」を発表した。今のところ論文のみの公開で、一般公開の時期は明かされていない。一部ベンチマークではGPT-4Vをも凌ぐ性能を発揮複数（30億、70億、300億）のパラメータサイズを備えるMM1は、10億以上の画像および30兆語以上のテキスト、GitHubのコード例などの多様なデータセットを用い、教師なし学習と教師あり学習を組み合わせる独自の方法で学習され、多様なタスクに対して高い精度を示すという。各種ベンチマークの結果によると、30億および70億パラメーターのモデルはそれぞれのモデルサイズにおいて過去最高を記録。特にVQAv2（画像理解）、TextVQA（画像内のテキスト情報）、ScienceQA（科学知識）、MMBench（マルチモーダル）、MathVista（数学）などの

yamada_k 2024/03/19

LLM

リンク

アップル、 iPhoneへのグーグルＡＩ「Gemini 」搭載で交渉中－関係者

米アップルは、アルファベット傘下グーグルの生成ＡＩ︵人工知能︶サービス﹁ジェミニ︵Ｇｅｍｉｎｉ︶﹂の﹁ｉＰｈｏｎｅ︵アイフォーン︶﹂への搭載に向け交渉しており、ＡＩ業界を揺るがす大型合意につながる可能性がある。事情に詳しい複数の関係者が明らかにした。非公開情報を理由に関係者が匿名を条件に語ったところでは、両社はアイフォーンのソフトウエアに今年搭載する新たな機能を強化するため、グーグルの生成ＡＩモデル、ジェミニの使用許可︵ライセンス︶をアップルに与える交渉を活発に行っている。関係者によれば、アップルは対話型ＡＩ﹁ChatGPT︵チャットＧＰＴ︶﹂を開発した米オープンＡＩとも最近話し合いを持ち、同社のモデルの使用も検討しているという。アップルとグーグルとの合意が実現すれば、両社の検索エンジンでのパートナーシップがさらに強化される。グーグルは同社の検索エンジンをアイフォーンや他のデバイス

yamada_k 2024/03/19

LLM

リンク

話題のチャットAI「Claude 3」のプロンプト集、公式が公開中　「Excelの数式作って」など64種

AIスタートアップの米Anthropicが、同社のチャットAI﹁Claude 3﹂向けに公式プロンプト集を公開している。3月11日までに64種類の使用例を公開中。専用のWebサイト﹁プロンプトライブラリ﹂で公開しており、英語と日本語表示に対応している。例えば、入力した材料や好みに応じた料理レシピを提案する﹁料理クリエイター﹂などのプロンプトを公開している。プロンプトは﹁システム﹂と﹁ユーザー﹂の2つに分かれ、まず前者でAIに指示し、次に後者でユーザー個別の条件や要件を伝える仕組み。料理クリエイターの場合は以下のような具合だ︵原文ママ︶。システム‥あなたの仕事は、利用可能な材料や食事の好みに関するユーザーの入力に基づいて、パーソナライズされたレシピのアイデアを生成することです。この情報を使用して、ユーザーの食事のニーズに対応しながら、指定された材料を使用して作ることができるさまざまな創造

yamada_k 2024/03/12

LLM

リンク

GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultraに同じ質問をして、回答結果を比較してみた - Qiita

GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultraに同じ質問をして、回答結果を比較してみたPython AWSAzureOpenAI GoogleCloud はじめに GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultra(Gemini Advanced)に同じ質問をして、回答結果を比較してみました。 Gemini Ultra以外のモデルはPythonコード上から実行し、Gemini UltraはGemini Advancedのチャット上で実行しています。各モデルの詳細は以下のとおりです。 G

yamada_k 2024/03/06

LLM

リンク

グーグルの次世代AIモデル｢Gemini 1.5｣について知っておくべきこと

Samantha Stokes ﹇原文﹈︵翻訳‥大場真由子、編集‥井上俊彦︶ Feb. 26, 2024, 11:00 AM 深掘り 5,171 アルファベットCEOのサンダー・ピチャイ。 Christoph Soeder/picture alliance via Getty Images グーグルは、新しい大規模言語モデル﹁Gemini 1.5﹂を開発した。Gemini 1.5は、さまざまなデータ型を処理することによって前モデルよりも改善されている。この次世代モデルは、効率性を高めるために混合エキスパート︵Mixture-of-Experts‥MoE︶を使用し、拡張されたコンテキストウィンドウを備えている。グーグル︵Google︶は、大手テック企業とスタートアップ企業の間で熾烈な競争を生み出しているAI 戦争に、さらに拍車をかけた。アルファベット︵Alphabet︶が所有するこの

yamada_k 2024/02/27

LLM

リンク

【Day 2】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita

自己紹介データサイエンティストを目指して日々勉強している、慶應大学理工学部4年生（202.01.09時点）取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね X: @A7_data←普段はXで活動しています。ありがたいことに、フォロワーは6500人を超えました😌 プロフィールページ👇👇👇 X👇👇👇 Day2の概要 Day2のテーマは「Prompting and Augmented Language Model」ということで、LLMの活用法に焦点が当てられている。（学習済みLLMを追加学習なしで活用する技術について）項目としては大きく3つ。プロンプティングや文脈内学習とは何かプロンプティングによる性能改善方法 Augmented Language Modelの概要 LLMの使い方に焦点を絞っているので、今回の授業だけでも幅広い人に役立ちそう。言語

yamada_k 2024/02/16

LLM

リンク

【特集】 Googleの対話型AI「Gemini」は何ができるのか？無料版と有料版、そしてMicrosoft Copilotと機能を比較

yamada_k 2024/02/15

LLM

リンク

実用レビュー：BardからGeminiに、Google OneからGemini Advancedへ。各社のクラウドストレージ価格をGemini自身に見積もらせてみた｜AICU media

実用レビュー‥BardからGeminiに、Google OneからGemini Advancedへ。各社のクラウドストレージ価格をGemini自身に見積もらせてみた 2024年2月9日︵日本時間︶、Googleが開発した生成 AI﹁Bard﹂がリブランドされ﹁Gemini﹂に統合されました。またGeminiの最も高性能なAIモデル﹁Ultra 1.0﹂はGoogle Driveなどのストレージサービス﹁Google One﹂と統合され﹁Gemini Advanced - Google One AIプレミアムプラン﹂となりました。﹁つくる人をつくる﹂をポリシーとするAICU mediaでは、実際にAIプレミアムプランを契約し、複雑なクラウドサービスの料金をGemini自身に見積もらせることで、その価値を庶民的な視点で算出していきたいと思います。Geminiは無料で利用できるまずGmail

yamada_k 2024/02/14

LLM

リンク

大規模言語モデルの構築の事前学習に使えそうなデータセット(主に日本語系)の整理メモ｜Kan Hatakeyama

はじめに日本語データセットが含まれるものをまとめています。情報があったら教えてください。 llm-jpの厳選リストも要参照データセットのレビューなど

yamada_k 2024/02/14

LLM

リンク

Google最高峰AIモデル「Gemini Ultra」解禁。月額2900円のGoogle One新プラン「AIプレミアム」で提供開始 | テクノエッジ TechnoEdge

今回、これまでの﹁Bard﹂も﹁Gemini﹂へと呼称を変更。対話型サービスとAIモデルのブランド名を統一します。 Googleは﹁GeminiがGoogle の最も高性能な AIモデルであり、この核となる高度なテクノロジーが反映された製品であることを明確にお伝えするため﹂と説明しています。対話型AIサービスのうち無料版のGeminiは、Gemini Pro 1.0モデルを搭載し、引き続き40以上の言語、230 以上の国と地域で利用できます。Gemini Ultraが使える新プラン﹁Google One AIプレミアム﹂は月額2900円そして新たに、﹁Gemini Advanced︵英語版のみ︶﹂の提供も開始します。昨年末からGemini ProとGemini Nanoは提供済みですが、最高峰の﹁Gemini Ultra﹂は2024年に﹁Bard Advanced﹂のプレビューに