[B! LLM] hirorockのブックマーク

ローカルLLMに小説を書いてもらう v2｜Kohya S.

この時はそれぞれ単独のプロンプトで小説家と編集者を演じさせましたが、今回はもうすこしシステマチックに、段階を踏んで小説を生成させてみます。プロンプトの検討等にはkgmkm氏のリポジトリや記事を参考にさせていただきました。この場を借りてお礼申し上げます。仕組みを相談するのにClaude (3.5 Sonnet)とやり取りをしていましたので、この記事の草稿も書いてもらいました。所々、なんとなく冗長だったり文体が違ったりしますが、面倒なのでそのままにしてあります︵すみません︶。生成スクリプト生成スクリプトとプロンプト定義はgistに置きました。 https://gist.github.com/kohya-ss/68d41a9720bfbdfd87869ec970142f4b 概要近年、大規模言語モデル︵LLM︶の発展により、AIによる文章生成の可能性が大きく広がっています。今回はローカル環

hirorock 2024/07/16

LLM

リンク

IDM VTON - a Hugging Face Space by kadirnar

High-fidelity Virtual Try-on

hirorock 2024/06/07

試着

llm

リンク

ollamaで Fugaku-LLM を動かす

昨日公開された Fugaku-LLM は珍しく公式が GGUF ファイルを配布してくれているので、これを使って手元の Macbook で動かしてみます。準備: ollama をインストールする以下のインストーラに従ってアプリケーションを入手できます。アプリケーションの指示に従って、CLI 上でも ollama コマンドを使えるようにしておきます。ステップ1: Fugaku-LLM のファイルをダウンロードするからお好みのファイルを選びます。とりあえず、一番サイズの小さい︵おそらく量子化が一番効いている︶﹁Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf﹂を選びます。の download ボタンからダウンロード。ステップ2: Modelfile を作成するモデルファイルのダウンロードが終わったら、同じディレクトリに、Modelfile と

hirorock 2024/05/13

LLM

リンク

sin2piusc/whisper-medium-5k-jp · Hugging Face

hirorock 2024/05/10

whisperのmodel

LLM

リンク

whisper.cppでHuggingFaceのwhisperモデルを使う

はじめに Huggingfaceにある日本語でfinetuneしたモデルでwhisper.cppを使えないかなと思い，試した結果を載せていきます．結論から言うと，whisper.cpp/models にあるREADMEにhuggingfaceのモデルを使用する場合の流れが書いてあるので，それに従います． 1. モデルの用意今回は以下のモデルを使用したいと思います．モデルによっては，git-lftが必要になるかもしれません． pythonのライブラリ依存としては，pytorchとtransf ormersがインストールされていれば満たしていると思います． $ mkdir model $ git clone https://github.com/ggerganov/whisper.cpp.git repo/whisper-cpp $ cd whisper-cpp && make && cd

hirorock 2024/05/10

Whisper.cppの日本語モデル whisper-medium-mix-jp-ver2

LLM

リンク

Weave と Elyza-tasks-100 でローカルLLMを評価する｜npaka

﹁Weave﹂と﹁Elyza-tasks-100﹂でローカルLLMの評価を試したので、まとめました。 1. Weave と Elyza-tasks-100﹁Weave﹂は、LLMアプリケーションの記録、実験、評価のためのツールです。﹁Weights & Biases﹂が提供する機能の1つになります。﹁評価関数﹂と﹁評価データセット﹂を用意するだけで、LLMの評価に必要な面倒な処理 (記録・集計など) をすべて肩代わりしてくれます。﹁Elyza-tasks-100﹂はElyzaが提供する指示チューニングモデル用の評価用データセットです。問題固有の採点基準の情報も含まれています。 2. 評価データセットの準備評価データセットの準備手順は、次のとおりです。 (1) ﹁Elyza-tasks-100﹂から﹁test.csv﹂をダウンロード。 (2) 以下のプロンプトテンプレートを作成。・pr

hirorock 2024/04/28

LLM

リンク

microsoft/Phi-3-mini-4k-instruct-gguf · Hugging Face

Intended Uses Primary use cases The model is intended for commercial and research use in English. The model provides uses for applications which require memory/compute constrained environments latency bound scenarios strong reasoning (especially math and logic) long context Our model is designed to accelerate research on language and multimodal models, for use as a building block for generative AI

hirorock 2024/04/25

Phi-3のgguf MSオフィシャル

LLM

リンク

MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF · Hugging Face

hirorock 2024/04/19

Llama3のGGUF もうあるんかーい

LLM

リンク

LLM の chat_template に気をつけろ！｜Tatsuya Shirakawa

nouu の白川です。毎週のように新しいより高精度な LLM が出てきてキャッチアップするのも大変ですね。量子化された小さなモデルなら Google Colab などでチャチャッと試すのは意外と簡単なのですが、公式が提供しているサンプルからはみ出た事をしようとすると罠にハマることがあります。その一つが chat_template です。chat_template は instruction / chat モデルを使うときの入力フォーマットを定義した文字列です。最近出た話題の日本語 LLM の Swallow の場合は下記のようなフォーマットで入力します。 tokyotech-llm/Swallow-7b-instruct-hf の説明をもとに作成: 以下に、あるタスクを説明する指示があります。リクエストを適切に完了するための回答を記述してください。 ### 指示: 以下のトピックに関

hirorock 2024/04/16

tokenizer_config.jsonで、chat_templateを確認する

LLM

リンク

Macの音声の扱い

音声入力についてはまだキーボード入力？macOS Sonomaで強化された「音声入力」を活用しよう！が詳しい。音声読み上げについては、普通にGUIでできるほか、コマンド派には say コマンドが便利である。say "Hello world" などとすれば読み上げてくれる。say -v '?' で声の一覧が出るので say -v Alex "Hello world" のように指定できる。GUIではシステム設定→アクセシビリティ→読み上げコンテンツと連動している。システムの声→声を管理…で追加できる。音声ファイルはGUIのほか afplay コマンドでも再生できる。 Macのシステム音を別のアプリに入力したり録音したりするには、入力・出力の両方に指定できるオーディオループバックデバイス（仮想デバイス）が便利である。私はBlackHoleを使っている。brew install blackho

hirorock 2024/04/15

“whisper.cpp”で日本語文字起こし

LLM

リンク

Raspberry Pi 5上で軽量LLM、TinyLlamaを動かしてみる - Qiita

先日、日本で発売されたRaspberry Pi 5 (メモリ4GB)が届いたので、流行りのLLMを動かしてみました。動作の様子は次のツイートに掲載しています。ニューヨークにあるエンパイアステートビルの説明をしてくれています。用いたOSは、2023-12-05にリリースされたRaspberry Pi OS (64-bit) with Desktopです。 Raspberry Pi Imagerを用いてSDカードにイメージを書き込み起動しました。 TinyLlamaの環境準備まずターミナル上で以下のコマンドを実行して、Hugging FaceのサイトからTinyLlamaのモデルをダウンロードしてきます。操作は/home/pi/直下で行っています。 wget https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/res

hirorock 2024/04/15

RaspberryPiでTinyLlamaがうごく

LLM

リンク

https://www.reddit.com/r/LocalLLaMA/comments/14rncnb/local_llama_on_android_phone/?rdt=58205

hirorock 2024/04/11

android llama.cpp

LLM
Android

リンク

llama.cpp の動かし方と量子化手法

はじめに Turingアドベントカレンダー17日目です！今日は Research チームの柏谷が担当します。 Research チームでは、LLMによる完全自動運転を実現するための技術開発を行っています。その中で重要な技術の１つが量子化です。量子化によって少ビットでパラメータを表現できれば、LLM の膨大なパラメータのデータ圧縮が可能となります。量子化実装はいろいろと考えられますが、今回は実装にアクセス可能な llama.cpp とその量子化技術について見ていきましょう！ llama.cpp とは Georgi Gerganov さんが作った PC の CPU だけで LLM が動くプラットフォームです。その名の通り Llama, Llama2 が動くというだけでなく Bloom, Stabl eLM などいくつかの LLM がサポートされています。LLM は従来、データセンターで大量のGP

hirorock 2024/04/11

LLM

リンク

【無料】ローカルPCで動く日本語LLM（ELYZA-japanese-Llama-2-7b-instruct）｜えんぞう

ELYZAはDeep Learningを軸としたAIカンパニーです。 2020年に独自の大規模言語モデル︵LLM︶の開発に成功して以来、主に大手企業に対してLLM活用の支援を行っています。近年の技術革新により、LLMへの期待は大きく膨らんできているものの、技術・社会実装の両面において、多くの未解決問題が残っています。 ELYZAは、LLMの真の実用化に向き合い、未踏の問題の解決を目指します。 ELYZA-japanese-Llama-2-7bとは？この度ELYZAは、Metaの﹁Llama 2﹂をベースに、日本語による追加事前学習を行なった日本語言語モデル﹁ELYZA-japanese-Llama-2-7b﹂と、そこにELYZA独自の事後学習を施した﹁ELYZA-japanese-Llama-2-7b-instruct﹂、日本語の語彙追加により高速化を行った﹁ELYZA-japan

hirorock 2024/04/09

LLM

リンク

mmnga/line-corp-japanese-large-lm-1.7b-instruction-sft-gguf · Hugging Face

hirorock 2024/04/09

LLM

リンク

非力なパソコンでもLLMを動かしたい!? llama.cppの紹介 | CyberAgent Developers Blog

この記事は CyberAgent Developers Advent Calendar 2023 19日目の記事です。本日はメディア統括本部 Data Science Center の山本が担当します。サイバーエージェントではAzure OpenAI ServiceやGoogle CloudのVertex AIなど様々なクラウドサービスのプラットフォームを利用したコンテンツ生成のPoC作成やそれを発展させた形での実サービスへの展開を行なっております。このようなプラットフォームは気軽にやりたいことを試せる点では非常に便利ではあります。一方、APIリクエストへの即応性やコスト等々の観点で、画像生成や言語生成のモデルを、用意したマシンインスタンスに展開して推論を行いたい状況も存在します。このとき問題になるのはマシンインスタンスのスペックです。高性能なGPUが載っていて、CPU、メモリ

hirorock 2024/04/09

CAのLLMで、GGUFつくってllama.cppで使う local llm

Python
LLM

リンク

LLMをローカル環境で動かすことは貴族の遊びなのか？ - Qiita

はじめにはじめまして。株式会社PictoriaのSaldraです。普段はAI 技術で美少女を錬成しているオタクです。この記事は﹁LLM Advent Calendar 2023﹂の24日目の記事になります。皆さんがレベルの高い記事を沢山書いているので震えています。想定読者なんとなくChatGPTは触ったことあるかなくらいの人既にLLMを遊んでいて楽しいな～と感じている人本記事のまとめローカルLLMは楽しいが、参入のハードルが高い﹁貴族の遊び﹂と思われている実際はそんなことなく、参入自体は皆が思っているより容易ただし情報は少ない。参入する人、広めたい人ともに気合がまだまだ必要 LLMは﹁貴族の遊び﹂なのか？ ChatGPTが登場してから一年が経とうとしています。世間ではかなり騒がれていますし、OpenAI APIを使って小さなアプリを使った人は多いかと思います。一方で入力内容の

hirorock 2024/04/03

LLM

リンク

【令和最新版】何もわからない人向けのローカル LLM 入門

こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。なんとなく ChatGPT は使ったことある人ローカル LLM を聞いたことあるけどやったことない人ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル︵以降LLMとします︶は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。ローカルLLMとは﹁一般向けにファイルとして公開されたモデル﹂で推論させる遊びです。APIは便利ですが、インターネットの接続が必要であったり、API提供側に依存する問題があります。ローカルLLMは自前で運用ができるため、APIにはないメリットや魅力があります。一方で、環境構築やマシンスペック等、少し始

hirorock 2024/03/26

llama.cpp

LLM

リンク

Googleが公開したローカルLLMのgemma.cppをLinuxとAndroidのTermuxで動かしてみた。とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い。NetBSD上でもビルドし動作しました

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Googleが公開したローカルLLMのgemma.cppを参考サイトを見ながら動かしてみた。先駆者に感謝とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い note.com/ngc_shj/n/n3f5… pic.twitter.com/8bfoGYRrnF 2024-02-26 22:28:22

hirorock 2024/02/28

LLM Google termux Android

Android
LLM

リンク

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。細かいやり方は大先生のページを参照のこと。例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i

hirorock 2023/08/16

LLM

リンク

はてなブックマーク

タグ

関連タグで絞り込む (3)

LLMに関するhirorockのブックマーク (21)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス