rindai87のブックマーク - はてなブックマーク

ChatGPTの10ヶ月と開発トレンドの現在地

9/28の #日本CTO協会さんのイベントで登壇した資料を公開しました。「ChatGPTの10ヶ月と開発トレンドの現在地」開発のトレンドの最新情報をざっくり纏めています。・Prompt Engineering開発の現在地・RAG開発の現在地・Plugin開発の現在地・GPT-Vの登場と生成AI時代のこれからについてやや開発者寄りな内容なので、基礎を知りたい場合はAzure OpenAI大全も併せてご確認を。 (こっちも近々最新化します…) https://speakerdeck.com/hirosatogamo/chatgpt-azure-openai-da-quan

rindai87 2023/12/28

ChatGPT

リンク

Swallow: LLaMA-2 日本語継続事前学習モデル

はじめに東京工業大学横田研究室の藤井です。本日(2023/12/19)Llama 2から日本語継続事前学習を行ったSwallow-7B, Swallow-13B, Swallow-70Bをリリースさせて頂きました。本モデルの開発は、産総研、東京工業大学岡崎研究室、横田研究室の合同プロジェクトにて行われました。公式プロジェクトページはこちらです。 Swallow-70Bはオープンな日本語モデルにおいて最高の日本語性能を記録しました。 (後述のモデル評価セクションを参照のこと) リリースモデル日本語継続事前学習済みモデル Swallow-7B Swallow-13B Swallow-70B 上記モデルに指示チューニングを施したモデル Swallow-7B-instruct Swallow-13B-instruct Swallow-70B-instruct 本記事では、Swallow

rindai87 2023/12/25

llm

リンク

プロンプトエンジニアリングは公式ガイドを参考にしよう（OpenAI・Microsoft・Google）｜Martin

この記事の要約・プロンプトエンジニアリングとは、AIに対して効果的な指示を出すためのスキルである。・OpenAI, Microsoft, Googleの公式ガイドや解説記事、実例などを参考にしている。 GPT-4による要約こんにちは、Martinです。プロンプトエンジニアリングに関する情報は、最近公式のガイドがだいぶそろいつつあります。そのため、自分のメモ用としてリンクをまとめておきます。自分と同じように、プロンプトエンジニアリングの正しいやり方が気になっている人は多いかと思います。プロンプトエンジニアリングには、独自のいろんな情報が氾濫していますが、それらを見る前にまずは公式の情報を知りたいですよね。別にプロンプトエンジニアリングをマスターしたところで超人になれるわけではないですが、ChatGPTと話していて、この書き方でいいのか？や、ベストな聞き方をできているのか？がついつい気に

rindai87 2023/12/22

llm

リンク

A Review of Public Japanese Training Sets

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

rindai87 2023/12/11

ai
llm

リンク

hotchpotch/jaqket_v1_qa_wikija_context · Datasets at Hugging Face

rindai87 2023/12/11

ai
llm

リンク

FlutterKaigi 2023の登壇資料まとめ - Qiita

こんにちわ。いせりゅーです。 2023/11/10にあったFlutterKaigiでの登壇資料をまとめてみました！！現時点︵2023/11/10の18時︶での僕が見つけた範囲を載せているので、後日整理したり追加の資料がありましたら記載予定です🙇 公式サイト公式アプリアンケート︵みんな、回答してね🙇︶資料一覧 Add Material touch ripples by 株式会社ナビタイムジャパン / 松村航裕さんin東急(株) URBAN HACKS 11:00~ Flutter アプリにおけるテスト戦略の見直しと自動テストの導入byおさたくさんin⚔️†††開拓者の部屋†††🛡️ 11:00~ DartによるBFF構築・運用〜Dart Frog×melos〜byもぐもぐさん / K9iさんin東急(株) URBAN HACKS 14:30~ Maste

rindai87 2023/11/11

flutter

リンク

Othello is Solved 論文解説 (私見) - Qiita

今朝起きたら、とんでもない論文を見つけました。 Othello is Solved ゲームのオセロが"解かれた(弱解決)" というのです。飛び起きました。それで、16時まで二度寝してから読みました。注意すべきは、この論文が査読を経て公開されているわけではないこと、つまり形式上特にチェックを受けたものではないことです。ただ、タイトルからして非常に衝撃的ですので、個人的に読んでみました。この記事では、私がこの論文(およびソースコード)を読んでわかったことを、なるべくわかりやすくまとめます。随時更新します。余談ですが、このタイトルはどうやら、チェッカーというゲームが以前弱解決された際の論文"Checkers Is Solved"のオマージュだろうという話です。この記事には専門用語が出てくるので、最後の方に基礎知識として重要な用語や知識をまとめました。お詫びと訂正この記事の内容は、私が

rindai87 2023/11/06

algorithm
ai

リンク

Building RAG-based LLM Applications for Production

[ GitHub | Notebook | Anyscale Endpoints | Ray Docs] · 55 min read Note: Check out the new evaluation reports and cost analysis with mixtral-8x7b-instruct-v0.1 and our data flywheel workflow to continuously improve our RAG applications. In this guide, we will learn how to: 💻 Develop a retrieval augmented generation (RAG) based LLM application from scratch. 🚀 Scale the major workloads (load, ch

rindai87 2023/11/06

llm
RAG

リンク

State of AI Report 2023

rindai87 2023/10/16

llm

リンク

24時間365日動き続けるデータシステムの設計手法 : 「データ指向アプリケーションデザイン」実践編

「データ指向アプリケーションデザイン」をベースに、24時間365日動き続けるデータシステムを実装する際に必要となる技術や考え方を紹介します。この資料は、2023年大阪大学大学院情報科学科マルテメディア工学特別講義で使われた資料を一般用に修正して公開しています。参考：「30分でわかるデータベースデザイン」https://speakerdeck.com/xerial/30fen-dewakarudetazhi-xiang-apurikesiyondezain-data-engineering-study-number-18

rindai87 2023/10/14

design

リンク

社内情報検索システムで用いられるRAGの4つの実装方法

2松本和高  株式会社エクスプラザリードエンジニア  X: _mkazutaka  Github: mkazutaka  18年にバックエンドエンジニアとしてメルカリに入社。その後、ミラティブ、フリーランスを得て株式会社エクスプラザに所属。フロントエンドからバックエンドまで幅広く開発しています。趣味で、FXの自動売買Botを作成している  現在08/30に第一子が生まれ現在育休中  https://note.com/mkazutaka/n/n9f0e2c4dee96 CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 株式会社エクスプラザ︵EXPLAZA, Inc.︶会社名プロダクトの力で、豊かな暮らしをつくるミッション代表取締役CEO 高橋一生代表者 2020年07月03日設

rindai87 2023/10/14

llm

リンク

RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO

はじめに新規事業部山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答

rindai87 2023/09/23

llm

リンク

エンジニア視点でまとめる Generative Agents の作り方｜kawamou

自律的に動作する25名の AIエージェントが暮らす仮想世界︵街︶を 2D ゲームエンジンで作り、社会シミュレーションを実施した。生成エージェントの世界シミュレーションの結果、下記のような社会的行動が生じたという。情報の拡散‥市長︵町長？︶の選出協調活動‥バレンタインデー当日にパーティを行うため町民と協力詳細は下記の note に詳しい。百聞は一見になんとやら、公式デモはコチラから確認できる。生成エージェントのモデル論文の最重要ポイントは﹁社会シミュレーションがうまくいくようなエージェントのモデルを設計しました！﹂である。古くはマルチエージェントシステムの時代から、エージェントは﹁何かを観測し、観測したものについて思考し、思考をもとに行動する﹂ようにモデル化されている。観測 → 思考 → 行動。生成エージェント論文では観測 → 思考 → 行動に加えて記憶や計画、振り返り機

rindai87 2023/08/11

llm

リンク

Google Colab での JP Language Model Evaluation Harness による日本語LLMの評価手順｜npaka

﹁Google Colab﹂での﹁JP Language Model Evaluation Harness﹂による日本語LLMの評価手順をまとめました。 1. JP Language Model Evaluation Harness﹁JP Language Model Evaluation Harness﹂は、StabilityAI が作成されてる、日本語 LLM の評価コードです。 2. 評価データセット﹁JCommonsenseQA﹂と﹁JNLI﹂と﹁MARC-ja﹂と﹁JSQuAD﹂の4つのデータセットで評価しています 2-1. JCommonsenseQA﹁JCommonsenseQA﹂は常識的な推論能力を必要とする多肢選択式質問応答タスクのデータセットです。﹁CommonsenseQA﹂の日本語版になります。 2-2. JNLI﹁JNLI﹂は、前提文が仮説文に対して持つ推論関

rindai87 2023/08/09

llm

リンク

複数の ChatGPT プラグインを開発し AI オーケストレーションを実行するサンプルコード - Qiita

今回は Copilot stack のカスタマイズの中心となるプラグイン開発について紹介します。 Copilot stack Copilot stack は大規模 LLM をオーケストレーターとして利用し、複数のプラグインや外部システムの情報と連携させて GPT-4 のプラグイン機能や Microsoft の各製品に搭載される Copilot と連携したり独自の Copilot を開発できるフレームワークです。プラグイン開発 ChatGPT 規格のプラグインを開発すれば、以下のようにブラウザ版 GPT-4 だけでなく、Bing や Microsoft 365 Copilot、Windows Copilot などからも利用可能になります。当然、組織独自の Copilot と統合することもできます。このプラグインによって、最新の情報や組織内のデータを反映させた︵Grounding︶回答を行っ

rindai87 2023/07/30

ChatGPT
llm

リンク

大規模言語モデル時代のHuman-in-the-Loop機械学習

画像の認識・理解シンポジウム（MIRU2023）チュートリアル

rindai87 2023/07/28

ml

リンク

30分で完全理解するTransformerの世界

はじめに初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI 技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。深層学習界隈では、2017年に衝撃的なタイトル︵Attention Is All You Need︶の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transf ormer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。今回はそんなTransf ormerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transf ormers に倣いつつ、適宜、2023年2月上旬現在ま

rindai87 2023/07/17

機械学習

リンク

生成系AIの実応用に向けて

LINE株式会社 Data Scienceセンター AI Dev室室長井尻善久 ※画像センシング展2023 イメージセンシングセミナー：特別招待講演＜ジェネレーティブAI・応用課題＞での発表資料です https://www.adcom-media.co.jp/seminar/2023S…

rindai87 2023/07/11

llm

リンク

【勉強メモ】トランスフォーマーを1億トークンスケーリングする方法　LongNet: Scaling Transformers to 1,000,000,000 Tokens｜だいち

【勉強メモ】トランスフォーマーを1億トークンスケーリングする方法　LongNet: Scaling Transf ormers to 1,000,000,000 Tokens LongNet: Scaling Transf ormers to 1,000,000,000 Token s（GPTにて要約）このビデオは、トランスフォーマーを1億トークンスケーリングする方法であるLongNetを提案している。LongNetは、分散アルゴリズムを使用して、トークン数が制限されないため、長い文脈学習に最適化されており、パフォーマンスが常に高いことがわかっている。この研究では、畳み込みニューラルネットワークの長い文脈学習は、ニューラル機械学習の将来の進展につながる重要な発展の1つであることが示されている。導入とニューラルネットワークのスケーリングについて近年、ニューラルネットワークのスケーリングに向