[B! ai][llm] ktakeda47のブックマーク

最近ローカルLLMがアツいらしい

最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題＆ OpenAIがAIベンチャー皆殺しにしてしまう問題まず﹁結局GPTのAPIを叩いてサービス運営して成功し

ktakeda47 2024/05/21

"そもそも、タダで推論したいだけなら大抵の人にとってはCommand R+やGemini1.5Flashの無料API枠を叩いとけば十分な状況かもしれない。現状ではローカルLLMよりもGemini1.5Flashの方が多分性能高いのだから。"

リンク

なぜ我々は GitHub Copilot Enterprise の導入を見送ったのか - 一休.com Developers Blog

CTO 室の恩田です。今回は GitHub Copilot Enterprise を評価してみて、現時点ではまだ採用しないことを決めた、というお話をご紹介したいと思います。きっかけとあるエンジニアが Slack で自身の times チャネルに時雨堂さんの GitHub Copilot Enterprise のススメという記事を投稿したことが発端でした。特に感想はなく URL に 👀 だけが添えられていたので、後で見るぐらいのメモだったんだと思います。それを見かけた別のエンジニアが技術雑談チャネルにその投稿を共有して、これは凄そうと話題を向けたところ、CTO の﹁評価してみる？﹂の一言で、有志が集って評価プロジェクトが始まりました。雑談チャネルできっかけとなる投稿が共有されてから、30分足らずの出来事でした︵笑︶。この話題が出たのは金曜日でしたが、週明け早々に稟議を終え、火曜

ktakeda47 2024/04/16

"どのようなファイルにどのような変更をおこなったかという what の情報はうまく要約してくれます。しかし、その PR の変更が必要となった背景や変更の意図といった why の情報は期待したほどには盛り込まれません"

リンク

Google、オープンな生成AIモデル「Gemma」公開　商用利用OK、Geminiと同じ技術の軽量LLM

また、Gemmaの事前トレーニング済みモデルでは、学習データから特定の個人情報やその他の機密データを除外していると安全性もアピール。開発者や研究者向けに、安全で責任あるAIアプリケーションを構築できるというツールキット﹁Responsible Generative AIToolkit﹂も併せて公開している。関連記事 Google、“現行最強”の生成AI発表　月2900円で利用可　チャットAIサービスはBard→Geminiに刷新米Googleは2月8日︵現地時間︶、﹁現行最強﹂をうたう生成AI﹁Gemini Advanced﹂を発表した。すでにサービスを提供開始しており、月額2900円で利用可能。2カ月間の無料試用期間も用意する。 Google、﹁Gemini 1.5 Pro﹂限定リリース　コンテキストウィンドウは100万トークン Googleは、生成AIの次世代モデル﹁Gemini

ktakeda47 2024/02/22

リンク

LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研テックブログ

こんにちは。電通総研コーポレート本部システム推進部の山下です。最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。なぜローカル環境でLLMを利用したいのか大変便利なツールのLLMですが、利用が難しいこともあります。例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。最終的にOpenAI

ktakeda47 2024/01/23

リンク

画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた

Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した﹁LLaVA﹂は﹁視覚﹂を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス﹁Google Cloud Platform(GCP)﹂上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。画像を認識して年齢推測可能＆人名クイズにも正答できる無料の高性能チャットAI﹁LLa

ktakeda47 2024/01/04

リンク

商用利用可能で130億パラメーターの日本語LLM「ELYZA-japanese-Llama-2-13b」が公開／デモも公開されており、実際に能力を試すことが可能

ktakeda47 2023/12/29

リンク

【令和最新版】何もわからない人向けのローカル LLM 入門

こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。なんとなく ChatGPT は使ったことある人ローカル LLM を聞いたことあるけどやったことない人ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル︵以降LLMとします︶は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。ローカルLLMとは﹁一般向けにファイルとして公開されたモデル﹂で推論させる遊びです。APIは便利ですが、インターネットの接続が必要であったり、API提供側に依存する問題があります。ローカルLLMは自前で運用ができるため、APIにはないメリットや魅力があります。一方で、環境構築やマシンスペック等、少し始

ktakeda47 2023/12/25

リンク

Prompt Engineering Guide – Nextra

Prompt Engineering Guide Prompt engineering is a relatively new discipline for developing and optimizing prompts to efficiently use language models (LMs) for a wide variety of applications and research topics. Prompt engineering skills help to better understand the capabilities and limitations of large language models (LLMs). Researchers use prompt engineering to improve the capacity of LLMs on a

ktakeda47 2023/03/22

リンク

はてなブックマーク

タグ

関連タグで絞り込む (18)

aiとllmに関するktakeda47のブックマーク (8)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス