yamadarのブックマーク - はてなブックマーク

驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

昨日話題になった﹁Bit Net﹂という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。Bit Netというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、Bit NetによるTransf ormerの野良実装

yamadar 2024/02/29

"BitNetはもともとすごい可能性を秘めていたのだが色々な人の直感に反していたためこれまで真に有望な技術とは考えられておらず追試があまりされていなかった"

リンク

GPTのモデル構造を可視化した｜shi3z

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよご覧あれやり方メモ from transf ormers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transf ormers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.log its, params=dict(

yamadar 2023/06/11

コピペみたいだ。同じ様な工程を繰り返して行ってるんだな

AI

リンク

10年ぶりに一人でWebサービスを作って思ったこと(エンジニア老人会)｜shi3z

StableDiffusionに対応したGakyoを雑な設計のためわずか数日で10万円くらいのクラウド利用料がかかってしまった。

yamadar 2022/08/29

読み物として面白い

リンク

Midjourney/Memeplex(StableDiffusion)などの画像生成AIで思い通りの画像を出すヒント｜shi3z

このnoteの収益を使ってStable Diffusionを使ったWebサービス https://memeplex.appを公開しました。誰でも無料で何枚でもAI作画をすることができます(そのかわり、混み合ってる時は時間がかかると思います)。このnoteで学んだことをぜひ活用して、AIによる新しい時代の風を感じてください。また、本文中にMidjourney、StableDiffusion、DreamStudio、Memeplexなどの言葉が頻出するため、全面的な修正を行うことにしました。StableDiffusionに統一しておきたいと思います。現状(2022/8/28)は、StableDiffusion=DreamStudio/Memeplexと考えて構いません。Memeplexは将来的にStableDiffusion以外のアルゴリズムもサポートする予定だからです。

yamadar 2022/08/09

リンク

Midjourneyに$40課金して見つけたコツ｜shi3z

最近流行ってるAIといえばMidjourney。吾輩は自宅の電気代が5万円を超えてしまったのでgakyoをお休み中。というか最近はgakyoでなくてもrepica.comとかいろいろあるのでそっちでいいのではないかと思っている。そこでMidjourneyですよ。開発リーダーはLeapMotionの人。何より安い。だって今まで月に5万かかってた電気代が$30でいいわけですからね。でもチキンな吾輩はとりあえずお試し→終了→$10プラン→終了と繰り返して、$30/月プランに入りました。だから$40課金勢。 Discordで簡単に使えるのでGakyoよりワンクッションくらいは面倒なんだけど無いよりマシ。 Midjourneyは人間とかの描写に﹁あまり﹂制限がない。DALL-Eとかの公開版だと人間の描写に制限があったりするので使うのが難しいが、Midjourneyはハリウッド俳優の名前と

yamadar 2022/08/07

リンク

真実とは何か｜shi3z

ITジャーリストAyanoさんという人がいて、彼女はすごい人なのである。何がすごいかというと、ものすごいダイエットに成功した人なのだ。【大会まで1週間】秀子先生の緻密な指導と仲間の理解と応援のおかげでここまで来ることが出来ました❗️ のこり1週間悔いのないよう最後まで全力でやり抜きます💪 みなさん応援よろしくお願いします‼️#フィットネスビキニ https://t.co/7lmPdxWeHs pic.twitter.com/2ICgNdXnOK — ITジャーナリスト富永彩乃 Ayano Tominaga (@AyanoTDO) July 23, 2017 そんなAyanoさんと初めて会った時、せっかくだから一緒に写真を撮りましょう、ということになったのだが、Ayanoさんは「だったらこのカメラで撮って下さい」と、中国製の自撮りに特化したスマホが出てきた。プリクラのように、少し目が

yamadar 2021/11/10

プロフィール画像って大事だよね。現在はWeb会議での画質音質とライティングはイメージに直結すると思ってる。丁度バズってたライティングの手法使ったらどうなるんだろう...（ゴクリ）

リンク

はてなブックマーク

タグ

ブックマーク / note.com/shi3zblog (6)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第1週）

月間はてなブックマーク数ランキング（2024年6月）

今週のはてなブックマーク数ランキング（2024年6月第5週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス