Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.

昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

そうして「メモ帳」「天気予報」「パズルゲーム」... など色々アプリを作っている中で「自分のテスト勉強のためのアプリが欲しい」となり、自作の単語帳アプリを開発した。これが「暗記メーカー」の原型となっている。 また、書籍にアプリのリリース方法についても記載されていたこともあり、この頃からPlayStoreへのアプリの公開を始めた。 今でこそPlayStoreでは「20人のテスターを集めて14日間テストする」「開発者の身元確認」といったアプリを出すまでの工数がかかるものとなっている。ただ、当時は（確か）そういった制限は存在せず$25の登録料を払えばリリースし放題だったので、アプリが完成したらとりあえずストアに公開していた。 基本的に出したアプリは鳴かず飛ばずだったが、その中で「暗記メーカー」だけは定期的にダウンロードが発生していたため、ユーザからのフィードバック等を参考にアップデートを続けるよ

札幌市の秋元克広市長は26日の記者会見で、市の第三セクターが管理運営する札幌ドームのネーミングライツ（命名権）公募について「現時点で応募はない。複数の企業から問い合

三†三（さとみ)@空想と現実の狭間 @8straycat8 キャンドゥの脳みそがよくできてるという噂を聞きつけてゲットしてきました〜。 100円の脳みそ 100円のスライム 100円のキャニスター で作るマッドサイエンティストインテリア pic.twitter.com/f2dW1qwyi8 2024-02-26 18:40:43