[B! llm] skypenguinsのブックマーク

skypenguins id:skypenguins

llmに関するskypenguinsのブックマーク (105)

Create - free-to-use AI app builder
Design and build apps like a pro Create lets you code using plain text and images
skypenguins 2024/07/16
ai

llm

開発

ノーコード
リンク
llama.ttf
llama.ttf is a font file which is also a large language model and an inference engine for that model. Ehm, what? llama.ttf is a font file which is also a large language model and an inference engine for that model. Why? How? The font shaping engine HarfBuzz, used in applications such as Firefox and Chrome, comes with a Wasm shaper allowing arbitrary code to be used to "shape" text. In particular,
skypenguins 2024/07/16
wasm

llm

フォント
リンク
Difyを使ってノーコードでAIエージェントを作成する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。︵詳細はリンク先をご覧ください。︶最近は GPT-4o や Claude 3 を使ったアプリを、せっせと実装したりしていたのですが、Difyの登場により﹁もう、これでいいじゃん﹂という気持ちが抑えきれていません。今回はそんなDifyを使って、﹁LLM自体の知識が足りないときにGoogle検索を行って回答するチャットボット﹂を作ってみました。 Google検索して答えてくれる 1. 概要 1.1. Difyとは 2. 環境構築 3. アプリ作成 3.1. 各ブロックの簡単な説明 4. 動かしてみる 5. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル︵LLM︶を活用したアプリ
skypenguins 2024/07/11
ai

llm
リンク
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
大規模言語モデル (LLM) の学習データに含まれない知識︵各社の特有の書類など︶を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。そのような問題への対応としてRAGが使われます。﹁LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
skypenguins 2024/07/04
論文

IR

情報検索

NLP

自然言語処理

LLM
リンク
大規模言語モデル (LLM) の技術と最新動向
マルチメディア，分散，協調とモバイル（DICOMO2024）シンポジウムでの招待講演の資料です。 https://dicomo.org/
skypenguins 2024/06/29
全体的にNLP寄りの話だった画像言語モデルのCLIPの話とかあるんかなって思ったけど

llm

資料

NLP

DeepLearning

機械学習
リンク
特化型モデルが日本の生成AI開発の勝ち筋
こんにちは、シバタアキラです。5月は皆様にとってもイベントの多い月間だと思いますが、私も日韓のAI Expoに出展、各所での講演、そして今週は日本人工知能学会の大会にて論文の発表も控えております。イベント参加は時間も取られますが、生の情報に触れるいい機会でもあり、今回は直近のAI業界の状況について私が学んだことを中心にご共有します。出口の見えない日本のLLM開発に光？昨年末MetaとIBMが手を組んでアナウンスされたThe AIAlliance は、﹁オープンAI開発を推進する﹂と大義を謳ってLinux Foundationとも手を組み、今月日本でカンファレンス及びディナーがありました。これまであまり話題になってこなかった団体という印象を持っていましたが、ビッグネームなメンバー企業・団体が着実に増えており、かなりモメンタムが増している印象を受けました。私も東工大の岡崎先生と、NII
skypenguins 2024/05/28
ai

生成ai

nlp

自然言語処理

機械学習

LLM
リンク
AnswerCarefully Dataset – RIKEN-AIP, LIAT
新着情報 AnswerCarefully Dataset バージョン1.0を公開　(2024/4/30) 概要日本語LLM 出力の安全性・適切性に特化したインストラクション・データAnswerCarefully(AC)データセットVersion 1 を公開します。このデータセットは、英語の要注意回答を集めたDo-Not-Answer データセットの包括的なカテゴリ分類に基づき、人手で質問・回答ともに日本語サンプルを集めたオリジナルのデータセットです。データセットの特徴５つのリスクタイプ（大分類）、12の有害カテゴリ（中分類）、61のサブカテゴリ（小分類）をカバーしています。Version 1は各サブカテゴリにつき10から20のサンプルを含む計945件からなっています。このうち各サブカテゴリから３件ずつ、計183件をテストデータ、残り762件をを開発データとして２つのファイルに分け
skypenguins 2024/05/26
llm

データセット

nlp

機械学習

自然言語処理
リンク
Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog
最近はAI エンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、﹁AI エンジニア﹂くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined やnu
skypenguins 2024/05/25
llm

json

生成ai

ai
リンク
Hello GPT-4o
GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversat
skypenguins 2024/05/15
ai

llm
リンク
Dify.AI · 先進的なAIアプリケーションのためのイノベーションエンジン
Release v0.5.9 - あなたのアシスタントとしてAIエージェントを作成し、ツールをカスタマイズしてください。
skypenguins 2024/05/11
llm

Webサービス
リンク
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
skypenguins 2024/04/11
llm

生成ai

nlp

ai
リンク
KubeCon + CloudNativeCon Europe 2024 参加レポート - ZOZO TECH BLOG
はじめにこんにちは。SRE部フロントSREブロックの三品です。3月19日から3月22日にかけてKubeCon + CloudNativeCon Europe 2024︵以下、KubeCon EUと呼びます︶が行われました。今回弊社からはZOZOTOWNのマイクロサービスや基盤に関わるエンジニア、推薦システムに関わるエンジニアの合わせて4人で参加しました。本記事では現地の様子や弊社エンジニアが気になったセッションや現地の様子について紹介していきます。目次 KubeConEU2024の概要セッションの紹介現地の様子ブースについて参加に向けてのTips 最後に KubeCon EU 2024の概要昨年4月にオランダアムステルダムで行われたKubeCon EUの様子については昨年の参加レポートをご覧ください。 tech blog.zozo.com 今年のKubeCon EUはフラ
skypenguins 2024/04/05
wasm

llm

k8s

コンテナ
リンク
大規模言語モデル開発のための日本語 Instruction データセット作成の取り組み
日本語LLMチューニングデータ最前線 - W&B ミートアップ #12 in 東京での発表資料になります。 https://wandb.connpass.com/event/313036/
skypenguins 2024/03/30
LLM

データセット

nlp

自然言語処理
リンク
LLMの現在 - Speaker Deck
今のLLMを取り巻く状況について紹介します。
skypenguins 2024/03/29
技術面、文化面、政策面から調査されていてよくまとまってる

llm

ai

生成ai

文化
リンク
日本語LLMにおけるトークナイザーの重要性 | データアナリティクスラボ
ELYZA-Japanese-Llama-2-7b ELYZA-Japanese-Llama-2-7bは、ELYZAが公開した日本語に特化したLLMです。公開されたのは以下のモデルです。 ELYZA-japanese-Llama-2-7bELYZA-japanese-Llama-2-7b-fastELYZA-japanese-Llama-2-7b-instructELYZA-japanese-Llama-2-7b-fast-instruct instruct‥instruction tuningによって追加学習されたモデル。 fast‥日本語の語彙の追加によって処理を高速化したモデル。モデルの概要 ELYZA-japanese-Llama-2-7bはLlama2をベースとして日本語処理の性能を向上させるために追加学習したモデルです。英語で学習済みのLLMの言語能力を引き継ぐことで、少な
skypenguins 2024/02/12
よくまとまってる

llm

自然言語処理

NLP

ai
リンク
20240125 開発側・ビジネス側という壁を作らない LLMアプリ開発 @生成AI Conf
20230425 PRIVACY TECH NIGHT #02 「統計化すれば安全」の罠 ──差分プライバシーの背景
skypenguins 2024/01/26
llm

ビジネス

企業

組織
リンク
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研テックブログ
こんにちは。電通総研コーポレート本部システム推進部の山下です。最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。なぜローカル環境でLLMを利用したいのか大変便利なツールのLLMですが、利用が難しいこともあります。例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。最終的にOpenAI
skypenguins 2024/01/23
llm
リンク
Azure OpenAIと周辺機能を活用して堅牢なLLMアプリケーションを開発しよう
OpenAIのリリースによりLLMの利用率が爆発的に増えてきました。当初はChatGPTとの会話形式だけだった利用シーンも独自のナレッジから答えさせるRAGアーキテクチャなど、LLMのアプリケーションへの組み込みがされはじめています。本資料では主にAzure OpenAIのLLMをアプリケーションへ組み込む際により堅牢かつ安全にアプリケーション実装ができるポイントについて紹介します。本資料は以下のイベントで発表した内容です。第1回 Azure Travelers 勉強会札幌の旅 https://jat.connpass.com/event/303868
skypenguins 2024/01/15
llm

azure

開発
リンク
Claude
ProductResearchCareersCompanyNewsTerms of ServicePrivacy PolicyYour Privacy ChoicesResponsible Disclosure PolicyComplianceThis site is protected by reCAPTCHA Enterprise. The Google Privacy Policy and Terms of Service apply.
skypenguins 2023/12/13
llm
リンク
Amazon Bedrock「Claude2.1」の最大20万トークンで何が変わるか確認してみた - Taste of Tech Topics
Amazon Bedrock Advent Calendar 202313日、および Anthropic Claude Advent Calendar 202318日の記事です。こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。︵詳細はリンク先をご覧ください。︶先日、 Bedrock 上で Claude 2.1 が使えるようになりました。 aws.amazon.com このモデルは精度が高いことはもちろんですが、20万︵ 200K ︶トークンを一度に扱うことができるという特徴があります。 200K のトークンがあれば、約15万単語もしくは 500 ページの本を一度に扱える、と言われています。とは言いますが、これは実際どれくらいイン
skypenguins 2023/12/13
aws

llm
リンク
1 2 3 4 5 6 次のページ