[B! llama] skypenguinsのブックマーク

skypenguins id:skypenguins

llamaに関するskypenguinsのブックマーク (4)

【Zephyr 7B Alpha】HuggingFaceがLlama 2を超えるLLMを出したので、比較レビューしてみた | WEEL
Zephyr 7b Alphaは、Hugging FaceがリリースしたMistral AIのMistral 7bのファインチューニングモデルで、なんと10倍ほどモデルサイズが大きいChat Llama 70Bと同等の性能を持っています。ファインチューニングで10倍の差を埋めるのはすごいですよね！今回は、Zephyr 7b Alphaの概要や仕組み、実際に使ってみた感想をお伝えします。是非最後までご覧ください！なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。 →無料相談で話を聞いてみる Zephyr 7b Alphaの概要 Zephyr 7B Alphaは、Hugging FaceがリリースしたMistral AIのMistral 7bをファインチューニングしたモデルです。このモデルは、いくつかのベンチマークでChat Llama
skypenguins 2023/10/14
llm

LLaMA
リンク
LlamaIndexでAutoGPTQモデルを使う（vicuna-13B-v1.5-GPTQ）
npakaさんの記事を見て、LlamaIndexでもAutoGPTQモデルを使いたいと思い、試してみました。ポイントは下記2点です。 GPTQモデルをLlamaIndexに渡す text_splitterをトークン数で分割するよう設定する環境 Google Colab 無料版のT4インスタンス︵VRAM 15GB︶で動作確認しています。前準備モデルの指定 vicuna-13B, multilingual-e5-baseの組み合わせで、VRAM使用量は11GB～15GB程度でした。 vicuna-7BならローカルPCのRTX3060 12GBでも動作しました。 vicuna-7B + multilingual-e5-smallなら8GB以下でも推論できましたが、複数回質問していると8GB以上になることもありました。トークン数を絞れば安定するのかも知れません。 llm_model_nam
skypenguins 2023/08/31
llama

LLM
リンク
Metalによるllama2 13B chatの高速実行｜JohnK.Happy
実行環境 Macbook Pro 16 M1 Max 32 core gpunpakaさんの記事ではmetal利用の高速化の影響が確認できなかったとのことでしたが私の環境ではmetalを使った方が高速化したので報告しておきます。 llama.cppのリポジトリはクローン済の前提でバージョン的には下記のコミットのあたりを含む最新バージョンです llama-2-13b-chat.ggmlv3.q4_0.binのWeightはwgetでダウンロード済。ビルドとかも野良スクリプトでLLAMA_METAL=1で実行しました。 llama.cppクローンとビルドとモデルダウンロード# Clone llama.cpp git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp # Build it LLAMA_METAL=1 ma
skypenguins 2023/08/31
nlp

LLM

Mac

llama
リンク
Llama.cpp で Llama 2 を試す｜npaka
﹁Llama.cpp﹂で﹁Llama 2﹂を試したので、まとめました。・macOS 13.4.1 ・Windows11前回 1. Llama.cpp﹁Llama.cpp﹂はC言語で記述されたLLMのランタイムです。﹁Llama.cpp﹂の主な目標は、MacBookで4bit量子化を使用してLLAMAモデルを実行することです。特徴は、次のとおりです。・依存関係のないプレーンなC/C++実装・Appleシリコンファースト (ARM NEON、Accelerate、Metalを介して最適化) ・x86アーキテクチャのAVX、AVX2、AVX512のサポート・Mixed F16/F32精度・4bit、5bit、8bit量子化サポート・BLASでOpenBLAS/Apple BLAS/ARM Performance Lib/ATLAS/BLIS/Intel MKL/NVHPC/AC
skypenguins 2023/08/31
llm

llama

深層学習

機械学習

c++
リンク
1

お知らせ

もっと読む

公式Twitter

@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
@hatebu
最新の人気エントリーの配信

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx