[B! Encode] makoto15のブックマーク

Excel VBAでUTF-8でパーセントエンコードされた文字列をデコードする(簡易版) - No Programming, No Life

当記事はVBAでURLデコード | Think Twiceへ移行しました。

makoto15 2019/12/21

vba
Encode

リンク

perl - 最速のUTF-8処理法 : 404 Blog Not Found

2013年03月04日14:45 カテゴリTipsLightweight Languages perl - 最速のUTF-8処理法 Perl Cookbook (English, Kindle Ed.) Christiansen / Torkington [邦訳: Perlクックブック] というわけで解説。 2013/03/04:Unicode::UTF8 がガチ爆速すぎる - bayashi.net encode より decode のが差が大きい感じ。encode だけだと、文字列長くなると Encode の方が速いっぽい。まずは改めて検証してみましょう。 https://gist.github.com/dankogai/5079930 確かにその通りになっています。Unicode::UTF8はEncodeはおろかPerl組み込みのutf8::decodeより高速なのか(文字列をコピ

makoto15 2013/03/04

Perl
Encode

リンク

Specials (Unicode block) - Wikipedia

Specials is a short Unicode block of characters allocated at the very end of the Basic Multilingual Plane, at U+FFF0–FFFF. Of these 16 code points, five have been assigned since Unicode 3.0: U+FFF9 INTERLINEAR ANNOTATION ANCHOR, marks start of annotated text U+FFFA INTERLINEAR ANNOTATION SEPARATOR, marks start of annotating character(s) U+FFFB INTERLINEAR ANNOTATION TERMINATOR, marks end of annota

makoto15 2011/10/21

Replacement character

リンク

Perlゼミ(サンプルコードPerl入門)

Perl入学式全6回のPerl入門講座。東京、大阪、沖縄、札幌で開催。(東京は4月と10月スタート、それ以外は5月スタート) YAPC::Japan Perlを軸としたITに関わる全ての人のためのカンファレンス。東京吉祥寺.pm 五反田.pm 大阪なにわPerl 沖縄沖縄.pm

makoto15 2010/08/19

リンク

perl - $PerlIO::encoding::fallback の謎 : 404 Blog Not Found

2009年07月07日07:30 カテゴリLightweight Languages perl - $PerlIO::encoding::fallback の謎すびばせん。それ、ドキュメントバグです。 PerlIOの encoding layer の fallback ではまった - daily dayflower Encode - character encodings - search.cpan.org をみるとわかるように，FB_XMLCREFは XMLCREF | LEAVE_SRC なんだけど，いろいろ試行錯誤してるとどうやら LEAVE_SRC が悪さをするらしい。 $PerlIO::encoding::fallbackを指定するときは、FB_*を使ってはいけません。今からその理由を説明します。 Encode::LEAVE_SRCって何さ?まずは、Encode::FB

makoto15 2009/07/07

perl
Encode

リンク

perl - EncodeでXSSを防ぐ : 404 Blog Not Found

2009年03月03日19:00 カテゴリLightweight Languages perl - EncodeでXSSを防ぐ良記事。第7回■文字エンコーディングが生み出すぜい弱性を知る‥ITpro だけど、問題点のみ具体例があって、対策にないのが片手落ちに感じられたので、その点を補足。結論だけ言ってしまえば、Perlなら以下の原則を守るだけです。 404 Blog Not Found:perl - Encode 入門すでにOSCONでもYAPCでも、あちこちそちこちでこの基本方針に関しては話したのですが、ここ 404 Blog Not Found でも改めて。 Perl で utf8 化けしたときにどうしたらいいか - TokuLog 改めだまってコードを書けよハゲ入り口で decode して、内部ではすべて flagged utf8 で扱い、出口で encode する。これが

makoto15 2009/03/04

リンク

Encode::Supported - Encodings supported by Encode - metacpan.org

NAME Encode::Supported -- Encodings supported by Encode DESCRIPTION Encoding Names Encoding names are case insensitive. White space in names is ignored. In addition, an encoding may have aliases. Each encoding has one "canonical" name. The "canonical" name is chosen from the names of the encoding by picking the first in the following sequence (with a few exceptions). The name used by the Perl comm

makoto15 2008/09/10

perl
Encode

リンク

UTF-8 vs. ISO-10646 : 404 Blog Not Found

2006年03月11日13:07 カテゴリLightweight Languages一日一行野郎 UTF-8 vs. ISO-10646 これだとLiberalなUTF-8ですね。 [を] UTF-8 の文字にマッチする正規表現 UTF-8の文字にマッチする正規表現の素直版。新旧、というのか、LiberalなUTF-8とStrictなUTF-8の違いは、RFC2044とRFC2279を見ればはっきりします。要はU+11000より上を認めるかどうかということです。今のところUnicode.orgの定義では、U+0000 - U+10FFFF しか認めていないので、そちらの定義に従うと、むしろこの正規表現はさらに短く $RE_UTF8CHAR_STRICT = qr/(?:[\x00-\x7f]|[\xC0-\xDF][\x80-\xBF]|[\xE0-\xEF][\x80-\xBF]{2}

makoto15 2008/09/08

Encode
perl

リンク

The Perl UTF-8 and utf8 Encoding Mess (by Jeremy Zawodny)

I've been hacking on some Perl code that extracts data that comes from web users around the world and been stored into MySQL (with no real encoding information, of course). My goal it to generate well-formed, valid XML that can be read by another tool. Now I'll be the first to admit that I never really took the time to like, understand, or pay much attention to all the changes in Perl's character

makoto15 2008/09/08

Encode
perl

リンク

404 Blog Not Found:perl - Encode 入門

2008年04月09日01:00 カテゴリLightweight Languages perl - Encode 入門すでにOSCONでもYAPCでも、あちこちそちこちでこの基本方針に関しては話したのですが、ここ 404 Blog Not Found でも改めて。 Perl で utf8 化けしたときにどうしたらいいか - TokuLog 改めだまってコードを書けよハゲ入り口で decode して、内部ではすべて flagged utf8 で扱い、出口で encode する。これがすべてです！とにかくこの基本方針をまもっていれば幸せになれます。ここでは、EUC-JPでエンコードされたファイル中の﹁小飼弾﹂﹁こがいだん﹂﹁コガイダン﹂﹁Kogai Dan﹂を正規表現で書き換えて標準出力にEUC-JPで出力するプログラムを例にとって説明します。 decode() then encode(

makoto15 2008/04/09

perl
Encode

リンク

404 Blog Not Found:CPAN - HTTP::Response::Encoding Released!

2007年04月17日22:30 カテゴリLightweight Languages CPAN - HTTP::Response::Encoding Released! HTTP-Response-Encoding を Release したのでお知らせします。 on CPAN (coming soon) http://www.dan.co.jp/~dankogai/cpan/HTTP-Response-Encoding-0.03.tar.gz どういうものかというと、こういうものです。 use LWP::UserAgent; use HTTP::Response::Encoding; my $ua = LWP::UserAgent->new(); my $res = $ua->get("http://www.example.com/"); warn $res->encoding; prin

makoto15 2007/11/04

HTTP::Response::Encoding

cpan
Encode

リンク

404 Blog Not Found:perl tips - Encodeを速く使う方法

2007年04月23日01:30 カテゴリLightweight LanguagesTips perl tips - Encodeを速く使う方法はっきり言ってこれはフェアではない。みかログ: ErlangとPerlの速度比較 Perl側は，Encodeが遅い． Encode::from_toがinplaceでコンバートしてしまうために，直前に文字列コピーがあるのも影響しているのかもなぜなら、Encode::from_to()は速度ではなく、安全性に最適化しているから。そもそもはじめからUTF-8、それもutf8フラグがたっている文字列にfrom_toを使うのはばかげている。 for(my $i = 0; $i < 0xffff; $i++) { my $str2 = $str; Encode::from_to($str2, "UTF-8", "Shift_JIS"); } は単に

makoto15 2007/04/23

perl
Encode

リンク

Perl vs Windows改行コード - 2006-11-15 - D-5 出張版

makoto15 2006/11/20

perl
encode

リンク

[Perl] Encode.pm の fallback が iso-2022-jp できかない

はてなグループの終了日を2020年1月31日(金)に決定しました以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記はてなグループ日記のエクスポートデータは2020年2月28

makoto15 2006/10/20

perl
Encode

リンク

Encode.pm版lib/MT/I18N.pm - Ogawa::Memoranda

makoto15 2006/07/13

i18n
Encode

リンク

yasuokaの日記 | スラド

2021年12月23日の日記の読者から、NDL古典籍OCR用RoBERTa-small ver.2という単文字日本語モデルをお教えいただいた。以前、私(安岡孝一)が作ったroberta-small-japanese-aozora-charを再トレーニングして、TrOCRのデコーダーに使っているらしい。とりあえず、当該モデルをGoogle Colaboratoryで動かしてみよう。 !pip install transf ormers !test -f model-ver2.zip || curl -LO https://lab.ndl.go.jp/dataset/ndlkotensekiocr/trocr/model-ver2.zip !test -d model-ver2 || unzip model-ver2.zip from transf ormers import pipelinef

makoto15 2006/05/10

Encode

リンク

Encode - 規格のバグまでは直せません : 404 Blog Not Found

2006年05月10日11:00 カテゴリLightweight LanguagesLogos Encode - 規格のバグまでは直せませんそれが規格だからです。 b:note: Encodeのナゾ最近会う機会が無いので、トラックバックします。 $moji = "～"; Encode::from_to($moji, "euc-jp", "utf8"); print $moji; で出てきた文字をWindowsのメモ帳とか秀丸でみると、～の波形が反対になった文字になってしまいます。ここでいう﹁～﹂はU+FF5E、Fullwidth Tildeのことです。その答えは、﹁Unicode Consortiumが用意したJISX0212とUnicodeの変換表がそうだったから﹂ということになります。Encodeのせいではないのです。詳しくは、 Japanese <-> Unicode Map

makoto15 2006/05/10

リンク

WindowsでEncode::Detectを入れるためのMakefile.PL - 烏賊様

を作った．Win32にEncode::Detectを入れる - Charsbar::Noteを参考にして，ちょっとだけ構成変えつつこれを自動でやるようにした．Encode-Detect-0.01のtarballを展開して，以下のソースをMakefile.PLとして置いてやれば，あとはおきまりの perl Makefile.PL から nmake install で．自分の環境ではこれでうまくいったので，Detector.xs の extern "C" は外してません． #!perl use strict; use warnings; use ExtUtils::MakeMaker; use File::Copy::Recursive qw(fmove); use File::Slurp qw(slurp write_file); my @DELETE = qw(Build.PL MANI

makoto15 2006/05/04

リンク

Win32にEncode::Detectを入れる - Charsbar::Note

このエントリのフォロー記事が http://d.hatena.ne.jp/charsbar/20060622/1150903898 にあります。先日Plaggerの推奨モジュールとなったEncode::Detect。 This module provides an interface to Mozilla's universal charset detector, which detects the charset used to encode data. とのことで、多少のクセはあるものの判定精度はなかなかよろしいらしいのですが、なにせCPAN Testersのうち無事にインストール成功したのはたったの3人。Linuxユーザ含めて11人が失敗していて、バグレポートもあがっているのに半年近く更新されていないのですから個人的にはあまり使う気にならんのだよなあと、思いつつも、やっぱり気にはな

makoto15 2006/04/18

リンク

はてなブックマーク

タグ

関連タグで絞り込む (12)

Encodeに関するmakoto15のブックマーク (19)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス