Llama.cpp で Llama 2 を試す｜npaka
﹁Llama.cpp﹂で﹁Llama 2﹂を試したので、まとめました。 ・macOS 13.4.1 ・Windows11前回 1. Llama.cpp﹁Llama.cpp﹂はC言語で記述されたLLMのランタイムです。﹁Llama.cpp﹂の主な目標は、MacBookで4bit量子化を使用してLLAMAモデルを実行することです。 特徴は、次のとおりです。 ・依存関係のないプレーンなC/C++実装 ・Appleシリコンファースト (ARM NEON、Accelerate、Metalを介して最適化) ・x86アーキテクチャのAVX、AVX2、AVX512のサポート ・Mixed F16/F32精度 ・4bit、5bit、8bit量子化サポート ・BLASでOpenBLAS/Apple BLAS/ARM Performance Lib/ATLAS/BLIS/Intel MKL/NVHPC/AC
