[B! LLM][AI] skypenguinsのブックマーク

特化型モデルが日本の生成AI開発の勝ち筋

こんにちは、シバタアキラです。5月は皆様にとってもイベントの多い月間だと思いますが、私も日韓のAI Expoに出展、各所での講演、そして今週は日本人工知能学会の大会にて論文の発表も控えております。イベント参加は時間も取られますが、生の情報に触れるいい機会でもあり、今回は直近のAI業界の状況について私が学んだことを中心にご共有します。出口の見えない日本のLLM開発に光？昨年末MetaとIBMが手を組んでアナウンスされたThe AIAlliance は、﹁オープンAI開発を推進する﹂と大義を謳ってLinux Foundationとも手を組み、今月日本でカンファレンス及びディナーがありました。これまであまり話題になってこなかった団体という印象を持っていましたが、ビッグネームなメンバー企業・団体が着実に増えており、かなりモメンタムが増している印象を受けました。私も東工大の岡崎先生と、NII

skypenguins 2024/05/28

リンク

Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog

最近はAI エンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、﹁AI エンジニア﹂くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined やnu

skypenguins 2024/05/25

リンク

Hello GPT-4o

GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversat

skypenguins 2024/05/15

ai
llm

リンク

LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング

こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ

skypenguins 2024/04/11

リンク

LLMの現在 - Speaker Deck

今のLLMを取り巻く状況について紹介します。

skypenguins 2024/03/29

技術面、文化面、政策面から調査されていてよくまとまってる

リンク

日本語LLMにおけるトークナイザーの重要性 | データアナリティクスラボ

ELYZA-Japanese-Llama-2-7b ELYZA-Japanese-Llama-2-7bは、ELYZAが公開した日本語に特化したLLMです。公開されたのは以下のモデルです。 ELYZA-japanese-Llama-2-7bELYZA-japanese-Llama-2-7b-fastELYZA-japanese-Llama-2-7b-instructELYZA-japanese-Llama-2-7b-fast-instruct instruct‥instruction tuningによって追加学習されたモデル。 fast‥日本語の語彙の追加によって処理を高速化したモデル。モデルの概要 ELYZA-japanese-Llama-2-7bはLlama2をベースとして日本語処理の性能を向上させるために追加学習したモデルです。英語で学習済みのLLMの言語能力を引き継ぐことで、少な

skypenguins 2024/02/12

よくまとまってる

リンク

GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展

GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展 2023.11.01 Updated by Ryo Shimizu on November 1, 2023, 09:15 am JST アメリカがGPUを重要物資として中国に対して禁輸措置を行うとの意向を受けて、中国国内ではA800 GPUの価格が一枚あたり50万人民元(約1000万円)に達するなどのパニックが起きたようだ。これは通常の価格の5倍にあたる。 A800は、そもそもアメリカ政府の意向を受けて中国市場向けにデチューンした(性能をわざと落とした)モデルで、世界的ベストセラーのA100の70%程度の性能とされている。しかし中国国内ではAI開発が非常に活発であり、合法的に使えるA800を大量に確保したい中国側の事情と、軍事転用も可能な重要戦略物資を中国に売りたくないアメリカ政府の意向が真正面から対立する形となっている。筆者

skypenguins 2023/11/02

リンク

ChatGPTのDALL-E 3による画像コントロール｜IT navi

ChatGPTの新しい画像生成AIのDALL-E 3は、かなり自由に画像をコントロールすることができます。1．リアル画像のコントロール＞20代の日本人女性の写真を作成してください。生成された画像＞３番目の女性の眼鏡をはずして、喜怒哀楽の表情を見せてください。生成された画像※1枚目の画像以外は眼鏡をはずしてくれませんでした。また、喜、怒、哀の表情は描いてくれましたが、楽の画像は生成できませんでした。＞この女の子を、1．走らせてください。2．座らせてください。3．ジャンプさせてください。4．逆立ちさせてください。生成された画像※3枚目までは上半身だけの画像なので、ジャンプしているかどうかはよく分かりません。4枚目はちゃんと逆立ちしています。＞縦長画像にして、全身を見せてください。生成された画像4枚目の画像※これで、3枚目の画像がちゃんとジャンプしていることが分かります。4枚目は、

skypenguins 2023/10/09

リンク

LLM開発のためにMLOpsチームがやるべきこと | フューチャー技術ブログ

はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野・平野です。今回は﹁LLM開発のためにMLOpsチームがやるべきこと﹂というテーマで、従来のMLOpsとの違い・ツール・構成例等について調査・整理しました。 LLMとはLarge Launguage Model︵大規模言語モデル︶の略であり、ここでのLLM開発とは、﹁LLM自体の開発﹂および﹁LLMを活用したシステム開発﹂の両方を含むものとします。LLM開発のフローについては以前にLLM開発のフローで詳細を説明しているので、ぜひ併せてご覧ください。まず、MLOpsとは﹁機械学習モデルの実装から運用までを円滑に推進するための手法や考え方﹂のことです。AIの社会実装が増えるに伴い、MLOpsチームを設ける企業も増えてきました。また、最近ではLLMやその関連技術が急速に発達してきており、今後LLMを用いたアプリケーション

skypenguins 2023/09/13

リンク

明らかになったGPT-4の秘密 | AI専門ニュースメディア AINOW

著者のアルベルト・ロメロ︵Alberto Romero︶氏はスペイン在住のAI 技術批評家で、AINOWでは同氏の記事を多数紹介して来ました。同氏がMediumに投稿した記事﹃明らかになったGPT-4の秘密﹄では、OpenAIがGPT-4のアーキテクチャおよび詳細を非公開にしたビジネス上のメリットが解説されています。﹁競争と安全上の理由から﹂学習データやアーキテクチャが非公開だったGPT-4について、2023年6月になってリークがありました。そのリーク内容とは、同モデルは2,200億パラメータの専門家モデルが8つ連結された﹁専門家混合モデル﹂だったというものです。このアーキテクチャ自体は、Googleが2021年に発表している何ら革新性のないものです。実際には既存技術を活用して開発していたGPT-4の詳細を非公開としたOpenAIのビジネス戦略について、ロメロ氏は以下のような3つのメリッ

skypenguins 2023/08/09

リンク

「ChatGPTには一度言ったことを覚えていてほしい」　ベクターストアで社内向けChatGPTの頭をちょっと良くした話

﹁ChatGPT Meetup﹂は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。1回目に登壇したのは、株式会社リンクアンドモチベーションの白田幹氏。社内向けのChatGPTを改善した時の開発について発表しました。 LLM推進担当の白田氏白田幹氏‥﹁Vector Storeを使って社内向けのChatGPTの頭を少しだけ良くした話﹂というところで、ちょっとお話できればと思っています。はじめに、自己紹介をさせてください。株式会社リンクアンドモチベーションという会社におります、白田幹と申します。2020年新卒入社で、データサイエンティストとしてこれまで働いてきたのですが、﹁ChatGPT﹂の登場とともに今はLLM推進担当というところで、基本的には社内に向けてLLM

skypenguins 2023/08/08

リンク

LLMを利用したRAG（Retrieval Augmented Generation）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】

1　はじめに近時、LLMを利用し、社内外の文書データを用いた精度の高いチャットボットを構築するために、RAG︵Retrieval Augmented Generation︶という手法が注目されています。 LLMをそのまま利用してチャットボットの構築を行うと、通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができないか、あるいは正しくない回答を返してしまいます。この問題を解決する手法として注目されているのがRAGです。この手法は、あらかじめ社内外の文書データをデータベース︵DB︶として準備しておき、ユーザからの質問がなされた場合には、当該質問と関連性が高い文書データを検索し、その文章データを質問文に付加してLLMに入力することで、精度が高い、かつ実際の文書データに紐付いた回答を生成することができるというものです。ここで、プロンプトに入力するためにDBとして

skypenguins 2023/08/05

リンク

NN研究における再現性にまつわるエトセトラ - 渋谷駅前で働くデータサイエンティストのブログ

先日、ふとしたきっかけでしましま先生*1がこちらの論文について触れられているのを見かけたのでした。これは推薦システム分野におけるNN研究の再現性について検証した2019年の論文で、近年のトップ会議*2に採択されたNN手法18個に対して再現を試みたところ、﹁reasonableな﹂努力で再現できたのはわずかに7個に過ぎず、その中でも1個は論文中で主張されたベースラインを超えることは出来なかったと報告しています。ただ、この報告はNN研究における再現性に関する議論のあくまでも一例であり、実際コロナ禍以前から﹁論文中ではSOTAを達成と書いているのに同じ実装をどう組んでもSOTAに達しない﹂みたいな業界噂話はそこかしこで耳にしたものでした。しかしながら、実際のソフトウェアやアプリケーションとしてそれらのNN手法が用いられて、尚且つその結果として何かしらの不具合でも起きない限りは、機械学習業界の

skypenguins 2023/07/26

再現性ないならもはやそれは科学じゃなくて宗教なんよ

リンク

LLMを効率的に再学習する手法(PEFT)を解説 - Platinum Data Blog by BrainPad

本記事は、当社オウンドメディア﹁Doors﹂に移転しました。約5秒後に自動的にリダイレクトします。このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この﹁Platinum Data Blog﹂を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、効率的にLLMのような事前学習済みモデルを再学習する手法(PEFT)についてご紹介します。問題意識ビジネスで利用する際に乗り越えるべき壁 PEFTとは何か？ PEFTのコンセプト分類トークン追加型 Prefix Tuning P Tuning Prompt Tuning Adapter型 Adapter LoRA型 LoRA Ada LoRA まとめ参考文献こんにちは、アナリティクスサービス部の辻です。今回は、LLMを効率的に再学習する手法として今後

skypenguins 2023/07/12

リンク

生成系AIの実応用に向けて

LINE株式会社 Data Scienceセンター AI Dev室室長井尻善久 ※画像センシング展2023 イメージセンシングセミナー：特別招待講演＜ジェネレーティブAI・応用課題＞での発表資料です https://www.adcom-media.co.jp/seminar/2023S…

skypenguins 2023/07/10

リンク

AIの仕組みを知る: 言語処理モデル・生成モデルとその可能性

2023年6月14日にみんなのコードが開催した「第2回情報教育の未来を考える”若手”勉強会」でPreferred Networksの西澤勇輝が講演に使用した資料です。

skypenguins 2023/07/09

リンク

20230614_「ChatGPTについて調べてくれ」と社長から特命を受けた人のためのChatGPT概論(40min版)

https://forest.f2ff.jp/introduction/7866?project_id=20230601

skypenguins 2023/06/16

リンク

【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで｜ppp

︻文春オンライン﹁ChatGPTには逆立ちしてもできないことがある﹂平井鳥取県知事が誤解覚悟で﹁使用禁止﹂を訴えた真意︼の記事を読んで ■5/22追記　投稿したのは数日前なのに、なんだこれ？ちょっと怖い。 ■はじめに　日曜日、chatGPT-4︵以下﹁GPT﹂︶のプロンプトや拡張機能を色々と試していました。また、GoogleのBardも使えるようになっていたので、素人なりに試行錯誤していました。朝から何時間も試行して疲れたので、ちょっと気分転換にTwitterの”おすすめ”に流れてくるツイートを漫然と見ていました。すると、見出しの記事が流れてきました。別に私は鳥取県知事に対して好意も悪意もない・・・というか、あの時おすすめツイートが流れてこなければ、他組織の首長のインタビューを読むことは恐らくなかったでしょう。北海道知事や沖縄県知事が何をしようと関心ないし、それと同じ程度に関心ないも

skypenguins 2023/05/21

“人間がまだ発見していない既存の情報の新たな組み合わせを提示することで、新たな洞察を引き出すこともあります。” データ化されたもの全て自然言語で引き出せる点が革命であって、未知の科学的発見とかは不可能

リンク

cyberagent (CyberAgent)

Text Generation • Updated Nov 2, 2023 • 2.96k • 25

skypenguins 2023/05/17

リンク

GoogleはAI開発競争における防壁を持っていません！OpenAIもです！

1．GoogleはAI開発競争における防壁を持っていません！OpenAIもです！まとめ・Google社内から流出したとされる文章がGoogleはOpen Sourceの取り組みからもっと学ぶべきという趣旨を主張していた・Googleが巨費をかけた大規模モデルで苦戦していることを100ドルと130億パラメータと数週間で実現しているとの事・イラスト生成AIで起こったカスタマイズしたモデルの流行は大規模言語モデル界隈でも起こっていく可能性はあるかもしれない2．AI開発競争における競争優位性とは？以下、www.semianalysis.comより﹁Google “We Have No Moat, And Neither Does OpenAI”﹂の意訳です。私はhardmaruさんのTwitterで知りましたが、Google社内文章の流出とされています。一部報道によれば執筆者の方も既に特

skypenguins 2023/05/15

「金かかりすぎて訓練できねぇ！」から「LoRAで速く何度も反復」はまさにルネサンスだな

リンク

はてなブックマーク

タグ

関連タグで絞り込む (33)

LLMとAIに関するskypenguinsのブックマーク (38)

お知らせ

月間はてなブックマーク数ランキング（2024年6月）

今週のはてなブックマーク数ランキング（2024年6月第5週）

今週のはてなブックマーク数ランキング（2024年6月第4週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス