Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
あの日夢見たGateboxは実現するのだろうか(Gateboxのウェブサイトから) 3月1日にOpenAIが公開したChatGPTのAPI(GPT-3.5-Turbo)が世界中で話題になっています。日本国内でも続々と事業者が(レベルの差はあれ)このAPIを叩いて何ができるか模索しはじめていて、API公開からわずか1週間ですがLINE連携のサービス「AIチャットくん」には20万人が殺到しました。 開始3日で20万人登録サービスもーーChatGPTで激変するネットサービスたち(前半) メカニカル仏にエンジニアのレジュメ自動生成ーーChatGPTで激変するネットサービスたち(後半) 先日、メカニカル仏を作っている家入一真さんとチャットで「なんかスマホアプリ作ってた最初の頃と似てるよね」っていう話をしていたのですが、本当にそんな感じなんですよね。2010年代前半も新しいプラットフォームで何ができる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く