[B! LLM] skypenguinsのブックマーク

skypenguins id:skypenguins

LLMに関するskypenguinsのブックマーク (100)

特化型モデルが日本の生成AI開発の勝ち筋
こんにちは、シバタアキラです。5月は皆様にとってもイベントの多い月間だと思いますが、私も日韓のAI Expoに出展、各所での講演、そして今週は日本人工知能学会の大会にて論文の発表も控えております。イベント参加は時間も取られますが、生の情報に触れるいい機会でもあり、今回は直近のAI業界の状況について私が学んだことを中心にご共有します。出口の見えない日本のLLM開発に光？昨年末MetaとIBMが手を組んでアナウンスされたThe AIAlliance は、﹁オープンAI開発を推進する﹂と大義を謳ってLinux Foundationとも手を組み、今月日本でカンファレンス及びディナーがありました。これまであまり話題になってこなかった団体という印象を持っていましたが、ビッグネームなメンバー企業・団体が着実に増えており、かなりモメンタムが増している印象を受けました。私も東工大の岡崎先生と、NII
skypenguins 2024/05/28
ai

生成ai

nlp

自然言語処理

機械学習

LLM
リンク
AnswerCarefully Dataset – RIKEN-AIP, LIAT
新着情報 AnswerCarefully Dataset バージョン1.0を公開　(2024/4/30) 概要日本語LLM 出力の安全性・適切性に特化したインストラクション・データAnswerCarefully(AC)データセットVersion 1 を公開します。このデータセットは、英語の要注意回答を集めたDo-Not-Answer データセットの包括的なカテゴリ分類に基づき、人手で質問・回答ともに日本語サンプルを集めたオリジナルのデータセットです。データセットの特徴５つのリスクタイプ（大分類）、12の有害カテゴリ（中分類）、61のサブカテゴリ（小分類）をカバーしています。Version 1は各サブカテゴリにつき10から20のサンプルを含む計945件からなっています。このうち各サブカテゴリから３件ずつ、計183件をテストデータ、残り762件をを開発データとして２つのファイルに分け
skypenguins 2024/05/26
llm

データセット

nlp

機械学習

自然言語処理
リンク
Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog
最近はAI エンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、﹁AI エンジニア﹂くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined やnu
skypenguins 2024/05/25
llm

json

生成ai

ai
リンク
Hello GPT-4o
GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversat
skypenguins 2024/05/15
ai

llm
リンク
Dify.AI · 先進的なAIアプリケーションのためのイノベーションエンジン
Release v0.5.9 - あなたのアシスタントとしてAIエージェントを作成し、ツールをカスタマイズしてください。
skypenguins 2024/05/11
llm

Webサービス
リンク
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
skypenguins 2024/04/11
llm

生成ai

nlp

ai
リンク
KubeCon + CloudNativeCon Europe 2024 参加レポート - ZOZO TECH BLOG
はじめにこんにちは。SRE部フロントSREブロックの三品です。3月19日から3月22日にかけてKubeCon + CloudNativeCon Europe 2024︵以下、KubeCon EUと呼びます︶が行われました。今回弊社からはZOZOTOWNのマイクロサービスや基盤に関わるエンジニア、推薦システムに関わるエンジニアの合わせて4人で参加しました。本記事では現地の様子や弊社エンジニアが気になったセッションや現地の様子について紹介していきます。目次 KubeConEU2024の概要セッションの紹介現地の様子ブースについて参加に向けてのTips 最後に KubeCon EU 2024の概要昨年4月にオランダアムステルダムで行われたKubeCon EUの様子については昨年の参加レポートをご覧ください。 tech blog.zozo.com 今年のKubeCon EUはフラ
skypenguins 2024/04/05
wasm

llm

k8s

コンテナ
リンク
大規模言語モデル開発のための日本語 Instruction データセット作成の取り組み
日本語LLMチューニングデータ最前線 - W&B ミートアップ #12 in 東京での発表資料になります。 https://wandb.connpass.com/event/313036/
skypenguins 2024/03/30
LLM

データセット

nlp

自然言語処理
リンク
LLMの現在 - Speaker Deck
今のLLMを取り巻く状況について紹介します。
skypenguins 2024/03/29
技術面、文化面、政策面から調査されていてよくまとまってる

llm

ai

生成ai

文化
リンク
日本語LLMにおけるトークナイザーの重要性 | データアナリティクスラボ
ELYZA-Japanese-Llama-2-7b ELYZA-Japanese-Llama-2-7bは、ELYZAが公開した日本語に特化したLLMです。公開されたのは以下のモデルです。 ELYZA-japanese-Llama-2-7bELYZA-japanese-Llama-2-7b-fastELYZA-japanese-Llama-2-7b-instructELYZA-japanese-Llama-2-7b-fast-instruct instruct‥instruction tuningによって追加学習されたモデル。 fast‥日本語の語彙の追加によって処理を高速化したモデル。モデルの概要 ELYZA-japanese-Llama-2-7bはLlama2をベースとして日本語処理の性能を向上させるために追加学習したモデルです。英語で学習済みのLLMの言語能力を引き継ぐことで、少な
skypenguins 2024/02/12
よくまとまってる

llm

自然言語処理

NLP

ai
リンク
20240125 開発側・ビジネス側という壁を作らない LLMアプリ開発 @生成AI Conf
20230425 PRIVACY TECH NIGHT #02 「統計化すれば安全」の罠 ──差分プライバシーの背景
skypenguins 2024/01/26
llm

ビジネス

企業

組織
リンク
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研テックブログ
こんにちは。電通総研コーポレート本部システム推進部の山下です。最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。なぜローカル環境でLLMを利用したいのか大変便利なツールのLLMですが、利用が難しいこともあります。例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。最終的にOpenAI
skypenguins 2024/01/23
llm
リンク
Azure OpenAIと周辺機能を活用して堅牢なLLMアプリケーションを開発しよう
OpenAIのリリースによりLLMの利用率が爆発的に増えてきました。当初はChatGPTとの会話形式だけだった利用シーンも独自のナレッジから答えさせるRAGアーキテクチャなど、LLMのアプリケーションへの組み込みがされはじめています。本資料では主にAzure OpenAIのLLMをアプリケーションへ組み込む際により堅牢かつ安全にアプリケーション実装ができるポイントについて紹介します。本資料は以下のイベントで発表した内容です。第1回 Azure Travelers 勉強会札幌の旅 https://jat.connpass.com/event/303868
skypenguins 2024/01/15
llm

azure

開発
リンク
Claude
ProductResearchCareersCompanyNewsTerms of ServicePrivacy PolicyYour Privacy ChoicesResponsible Disclosure PolicyComplianceThis site is protected by reCAPTCHA Enterprise. The Google Privacy Policy and Terms of Service apply.
skypenguins 2023/12/13
llm
リンク
Amazon Bedrock「Claude2.1」の最大20万トークンで何が変わるか確認してみた - Taste of Tech Topics
Amazon Bedrock Advent Calendar 202313日、および Anthropic Claude Advent Calendar 202318日の記事です。こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。︵詳細はリンク先をご覧ください。︶先日、 Bedrock 上で Claude 2.1 が使えるようになりました。 aws.amazon.com このモデルは精度が高いことはもちろんですが、20万︵ 200K ︶トークンを一度に扱うことができるという特徴があります。 200K のトークンがあれば、約15万単語もしくは 500 ページの本を一度に扱える、と言われています。とは言いますが、これは実際どれくらいイン
skypenguins 2023/12/13
aws

llm
リンク
Mixtral of experts
Mistral AI continues its mission to deliver the best open models to the developer community. Moving forward in AI requires taking new techno logical turns beyond reusing well-known architectures and training paradigms. Most importantly, it requires making the community benefit from original models to foster new inventions and usages. Today, the team is proud to release Mixtral 8x7B, a high-quality
skypenguins 2023/12/13
llm
リンク
moneyforward/houou-instruction-7b-v1 · Hugging Face
skypenguins 2023/12/06
llm
リンク
LLM Visualization
A 3D animated visualization of an LLM with a walkthrough.
skypenguins 2023/12/04
llm

自然言語処理

nlp

deeplearning
リンク
LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
第1　はじめに FAQシステムやチャットボットなど﹁何か知りたいこと︵検索文・質問文︶﹂を入力して検索や回答生成を行うに際して、検索や回答精度を向上させたり、回答根拠を明示させるために、LLM技術と外部データを組み合わせたシステムの研究開発や実装が急速に進んでいます。 LLMが外部データを参照できるようにするには、LLMそのものをFine-tuningする方法、プロンプトで情報を与える方法、RAGによって外部データを保存したデータベース (Data Base; 以下DB) から呼び出す方法の3つがあります。ここでいう﹁外部データ﹂とは、﹁LLMの外部にあるデータ﹂という意味でして、その中には社内文書や、書籍・ウェブページ上のデータなどが含まれます。当該﹁外部データ﹂の中には、他人が著作権を持つ著作物︵以下﹁既存著作物﹂といいます︶も含まれるため、それら既存著作物を外部データとして利用する
skypenguins 2023/11/28
llm

法律

著作権

生成ai
リンク
google/switch-c-2048 · Hugging Face
Model Card for Switch Transf ormers C - 2048 experts (1.6T parameters for 3.1 TB) Table of Contents TL;DR Model Details Usage Uses Bias, Risks, and Limitations Training Details Evaluation Environmental Impact Citation Model Card Authors TL;DR Switch Transf ormers is a Mixture of Experts (MoE) model trained on Masked Language Modeling (MLM) task. The model architecture is similar to the classic T5, b
skypenguins 2023/11/27
google

llm
リンク
1 2 3 4 5 次のページ