[B! 圧縮] sh19910711のブックマーク

プロンプトを5倍圧縮できる「LLMLingua-2」

導入こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、サービスのシステム開発を行なっています。サービスではLLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。本記事では、入力するプロンプトの圧縮を効率的に行うための技術、LLMLingua-2について解説します。 LLMLingua-2は、いくつかの手法を組み合わせることによって、品質を下げないままプロンプトを圧縮してくれます。サマリー LLMLingua-2は以下の方法で、情報の欠落を抑えた上でプロンプトのトークン数を大幅に減らすことに成功しています。ターゲットとなるLLM(GPT-4など)にプロンプトの圧縮タスクを行なってもらうそのデータを基に入力したプロンプトを構成するトークンの不要、必要を判断する機械学習モデルを作成する入力に対して上記機械学習

sh19910711 2024/06/06

"LLMLingua-2: ターゲットとなるLLM(GPT-4など)にプロンプトの圧縮タスクを行なってもらう + そのデータを基に入力したプロンプトを構成するトークンの不要、必要を判断する機械学習モデルを作成"

リンク

PNGデコーダの調査結果：ESP8266でのデコードは厳しいかも

ESP8266でJPEGとGIFがデコードできましたので、PNGも…と思い、仕様や既存のライブラリを調査していました。その結果をここでまとめておきます。結論としては、ESP8266でのPNG画像のデコードは不可能ではないものの、RAMの消費量や現時点で使えるデコーダライブラリの状況からは、JPEGやGIFに比べると課題が多いと言えます。まず、PNGの圧縮方法について触れておきます。 PNGは、原理的には﹁ビットマップ画像をZIPで圧縮した﹂イメージに近いです。圧縮アルゴリズムはDeflateと呼ばれているもので、ZIP、gzip等で使われているものと同じです。 Deflate圧縮は、出現頻度の高いビット列に短い符号を割り当てるハフマン符号化と、過去に既出のビットパターンを参照することでデータの繰り返しを圧縮するLZ77を組み合わせたものです。 Image compression D

sh19910711 2024/02/18

"Deflate圧縮: 出現頻度の高いビット列に短い符号を割り当てるハフマン符号化 + データの繰り返しを圧縮するLZ77 / 過去に既出のパターンがあったかどうかを調べるための辞書が必要" / 2015

リンク

Java のデータ圧縮ライブラリを極める #jjug_ccc #ccc_c7

テキストデータや画像・音声データなどの種類を問わずに適用できる汎用的なデータ圧縮ライブラリというと、deflate アルゴリズムの実装である zlib が古くからデファクトスタンダードとして存在しており、実際に広く使われています。ご多分に漏れず、zlib は Java にも組み込まれており、標準クラスライブラリを通じて利用できるようになっています。一方で 2010 年代に入ってから、snappy, lz4, brotli, zstandard といった、zlib より優れた性能を提供する様々なデータ圧縮ライブラリが新たに開発・公開されており、利用が徐々に広まりつつあります。このセッションでは、最近開発されたデータ圧縮ライブラリについて、Java で利用できるライブラリの紹介やそれぞれのライブラリの特性、どのライブラリを使うべきかの選定基準、また Java でそれらのライブラリを使

sh19910711 2022/06/01

"データ圧縮は得てして CPU-intensive / アルゴリズムとデータの「相性」がありうる > 実際に扱うデータでベンチマークを取ってみる / Snappy: 処理速度の速さに特化 + Zstandard, Brotli: 処理速度と圧縮率のバランスを重視"

リンク

1988年

1988年5月1日，私は PC-VAN の SIG SCIENCE（私が SIGOP をしていたところ）の第1ボード「オムニバス・ボード」（現「科学一般」）に次の書き込みをしました。 #1073/2867　オムニバス・ボード ★タイトル (SCIENCE ) 88/ 5/ 1 15:39 ( 49) ＬＺＳＳ法によるデータ圧縮プログラム／奥村 ★内容依然ある雑誌にＰａｓｃａｌで何かということで書いたのですが、その雑誌が休刊中なので、ＴｕｒｂｏＣで書き直したものをアップします。特徴は、圧縮率が非常に良いことと、符号化が非常に遅いことです。２分木などを使えば符号化は１桁速くなりますが、ＬＺＳＳ法そのもののアルゴリズムをはっきりさせるために、できるだけシンプルに作りました。符号化に時間がかかっても、アップやダウンの電話代を考えれば、少しでも圧縮率の良いもののほうが良いという考え方

sh19910711 2022/05/27

1988 / "PC-VAN のシステムは，半角と全角を同じ行に混在させると行末部分が失われやすかった / 当時は Borland の Turbo Pascal が人気のコンパイラ / SIG SCIENCE は科学のフォーラムなのに，データ圧縮ばかりで燃えている状態"

リンク

整数列圧縮アルゴリズムの最前線 - ny23の日記

ちょうど二年ぐらい前，機械学習で疎ベクトルの圧縮に情報検索でよく使われる整数列の圧縮技術を使うことを検討したことがあった︵オンライン学習でキャッシュを実装してみた - ny23の日記︶．そのときは，オンラインで圧縮し Disk に保存，圧縮したベクトルは陽にメモリに置かず読む︵OSに任せる︶という実装で，︵Disk IO のオーバーヘッドが大きく︶圧縮さえすれば何を使っても大差なしという身も蓋もない結論になった︵結局2行で書ける最も単純な Variable byte code を採用︶．それ以降は整数列圧縮アルゴリズムに関する知識も NewPFD ぐらいで止まっていたのだけど，つい先日，現時点で最速の圧縮アルゴリズムの提案＋ここ数年の主な整数列圧縮アルゴリズム︵Simple-8b (J. Software Pract. Exper. 2010), VSEncoding (CIKM 20

sh19910711 2019/02/24

リンク

unzip でファイル名文字化け対応 - dora-monの日記

Windowsがデフォルトでzip圧縮形式に対応して以来、メールに添付されるzipファイルが急増した気がする。しかしファイル名の文字コードの関係で、unzip するとファイル名がいつも文字化けしてしまい、下記のようなコマンドで修正していた。 % convmv -f sjis -t utf-8 --notest *しかし、unzipにはファイル名をiconvで変換するパッチがあって、FreeBSD の ports にもずいぶん前から取り込まれていたようだ。ただし、コンパイル時にオプションを指定する必要があった。 # cd /usr/ports/archives/unzip # make -DWITH_ICONV # make install使うときは、たいていWindowsで圧縮されたファイルを解凍するので、ほぼ100％こういうコマンドになる。 % unzip -Ocp932 -l [ファイ

sh19910711 2016/10/19

リンク

JavaScriptでzip,unzipするライブラリjsziptools

作った。 ukyo/jsziptools - GitHub chrome,firefoxあたりで動きます。コードをちょっと変えればIE10でも動くかも。実はStringベースでzip,unzipできるライブラリというのはすでにあります。JSZip: JavaScript zip class zip inflate on javascriptjsziptoolsはBlobBuilder,TypedArrayなどHTML5のAPIをつかった割とモダンな実装です。これらを使うことによって、より巨大なファイルを扱えたり、より高速に実行できたりします。 inflate,deflateに関してはMasanao Izumo氏が作成したライブラリを stringから配列(逆も)に変換している部分を排除して全体を無名関数でラップしたものを使用しています。 http://www.onicos.com/

sh19910711 2015/12/14

リンク

バイナリエディタを駆使して壊れたzipからファイルを救出する - Qiita

ukyoは激怒した。ukyoにはMsEdgeがわからぬ。けれどもzipに対しては、人一倍に敏感であった $ unzip MsEdge.Win10.VMware.zip Archive: MsEdge.Win10.VMware.zip warning [MsEdge.Win10.VMware.zip]: 1031667094 extra bytes at beginning or within zipfile (attempting to process anyway) error [MsEdge.Win10.VMware.zip]: start of central directory not found; zipfile corrupt. (please check that you have transf erred or created the zipfile in the appro

sh19910711 2015/12/08

リンク

アイコンを140文字にする話

0_icon_to_140.md アイコンを140文字にする話なに？この前ドット絵のアイコン書いたんですよ、こんなの。結構うまくできたかなって満足してます。それで、このアイコン、16x16なので、そのくらいならTwitterに140文字にして投稿できないかなって思ったんです。そういうお話。ルールと方針を決めるバイナリデータである画像を文字列に圧縮するにあたって、次のルールを決めました。 140文字に納めること︵バイト数は問わず = マルチバイト文字も1文字︶一般に使われてる処理系(Rubyなど)やエンコード方式(Base64など)は前提にしてもよいそれ以外のエンコード方式などは、デコード処理も含めて140文字以内に納めるこれをふまえて、方針を立てます。スタート時点で、画像のサイズは16x16のpngで180バイト程度です。単純にBase64方式でエンコードする方法を

sh19910711 2014/08/14

リンク

データ圧縮について

データ圧縮について by　だうぴ１．なぜデータを圧縮するのか。データの圧縮を行う理由は、電話網などのネットワークでは使用時間に応じて課金されるので、送受信されるデータの量が少ないほど課金が少なくて済むためで、パソコン通信時代からオンラインでソフトウェア流通させるために必要なものとして発達してきました。また、オンラインソフトウェアを流通させるためには複数のファイルを一つにまとめる機能がある方が便利なため、以上の２つの機能を持つソフトウェア（＝アーカイバ）として有名なのが、「ＬＨＡ」と「PKZIP」で、それぞれで圧縮したときのファイルの拡張子はｌｚｈ（何故lzhになるのかは後述します）、ｚｉｐになることで知られています。２．どのようにデータを圧縮しているのか。（Ａ）ランレングス符号化法ファイルの圧縮、解凍の操作方法に関しては、lhasa特集などの初心者向けサイトにまかせるこ

sh19910711 2014/06/10

リンク

マルチスレッド対応で高速なlbzip2/pbzip2のメモ (blog@browncat.org)

blog@browncat.org Web, Linux, Ubuntu, Mac, PDA, 携帯電話, プログラミング, ソフトウェア＆落書き Linuxでよく使われているbzip2は非常に高い圧縮率の圧縮プログラムですが、その反面非常に高負荷で圧縮/解凍に時間がかかります。これをマルチスレッドで並列に行うことで特にマルチプロセッサなシステムで高速に実行しようというのがこのlbzip2です。ついでに同じような機能ですが圧縮のみで若干使い勝手が異なるpbzip2。どちらもなかなか便利そうなので忘れないようにメモ。元ネタは Debian Package of the Day » BlogArchive » lbzip2: parallel bzip2 utility lacos' download page (GPL'd sources)--作者さんのページUbuntu 9.10 K

sh19910711 2013/09/11

リンク

はてなブックマーク

タグ

関連タグで絞り込む (11)

圧縮に関するsh19910711のブックマーク (11)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第1週）

月間はてなブックマーク数ランキング（2024年6月）

今週のはてなブックマーク数ランキング（2024年6月第5週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス