[B! unicode] tyruのブックマーク

tyru id:tyru

unicodeに関するtyruのブックマーク (87)

Javaの文字列の長さを判定するには - $shibayu36->blog;
自分の頭を整理するために書いておく。正しいかは知らない。まず前提として、Javaの内部表現としての「文字」は16ビット長のUTF-16ということがある。そうすると、普通に長さを取得すると、UTF-16のサロゲートペアで表される文字は2文字と扱われる。また、文字には合成済み文字という話がある。「か」の後に濁点を結合することで、「が」を表現するみたいなやつ。これらから、どこまで考慮して文字列の長さを取得するかでやり方が違う。 UTF-16のサロゲートペアを考慮しない UTF-16のサロゲートペアを考慮する合成済み文字を考慮する以下試したサンプルコード。 import java.text.Break Iterator; public class UnicodeCharSample { public static void main(String[] args) { // 𪛀あが St
tyru 2016/12/24
String#length(), String#codePointCount(), BreakIterator

Unicode

文字コード
リンク
UniViewSVG 16β
Tables and lists appear here. To get started, either: select a Unicode block or character range using the controls above, add characters, code points or text to the Search field and click on one of Hex, Dec, Characters or Text, or paste some text into the text area and hit the button to list the characters. Clicking/tapping on characters in a table or list displays detailed information for them in
tyru 2016/03/05
正規表現(に限らないけど)Unicode文字プロパティの一覧とか表示してくれる (via http://techracho.bpsinc.jp/hachi8833/2013_09_13/13433 )

regexp

unicode
リンク
Unicodeで伝わる間違った日本文化 - Folioscope
寒くなってきた今日このごろ、おでんが食べたくなったらUnicodeのU+1F362がある。しかしU+1F362には大きな間違いがある。それはUnicode Character Code ChartsのMiscellaneous Symbols and Pictographsに載っている。 seafood on skewer、日本語にすると﹁串に刺さったシーフード﹂である。確実に僕の知っているおでんの定義じゃない。念の為、﹁seafood on skewer﹂で画像検索してみる。やっぱり僕の知らないおでんだった。おまけ1おでんの定義、ドラフト時には更によくわからなく、SEAFOOD CASSEROLE (Temporary Notes: seafood hotchpotch, oden)、日本語に訳すと﹁シーフード鍋料理︵シーフードの鍋、おでん︶﹂である。 SEAFOOD CA
tyru 2014/10/10
いい話

unicode

sushi
リンク
OpenTypeカラーフォント
携帯電話やスマートフォンなどで広く使われている絵文字は、その代表的な字形がUnicode規格で標準化されているが、それをカラー化したOpenTypeのカラーフォントも普及しつつある。カラーフォントは携帯電話やiOS、OS X、Androidなどすでにさまざまなプラットフォームで利用できるが、Windows 8.1でもカラーフォントが利用できるようになった。連載目次﹁カラーフォント﹂とは、携帯電話やスマートフォン︵スマホ︶などでよく使われる色付きの﹁絵文字﹂をフォントセットとして定義したものである。従来から携帯電話やスマホ、インスタントメッセージングソフトウェアなどでは、感情やさまざまな物事、事柄などを表すために顔文字やエモティコン︵感情を表すアイコン︶などが使われているが、これらを1つの記号︵アイコン︶にしたものが絵文字である。代表的な絵文字は文字コードとして標準規格化されているが、そ
tyru 2014/09/05
Unicodeやばい

unicode
リンク
listcharsでドキッとした話 - typeof Diary
Vim Advent Calendar 2013の174日目の記事となります。さて今回は、listcharsでドキッとした話です。体験したのは去年の秋ぐらいの話ですが、掘り返します! set listcharts 例えば、vimrcに set list set listchars=tab:>-,trail:-,eol:$ こんな感じで書いておけば、不可視文字を視覚化することができます。字下げがタブなのか、スペースなのか、目で見て分かるのはとても便利です。改行もどこで行われているのか、目で見て分かるのは便利です。では次に、eol:$を、eol:↲と、いかにも改行っぽくしてみましょう。 set list set listchars=tab:>-,trail:-,eol:↲ ↲はやじるしで変換して出るような環境依存文字です。一応表示はされました。ですが、半分しか表示されてません。
tyru 2014/05/31
vim

unicode
リンク
Unicode Character 'FRIED SHRIMP' (U+1F364)
tyru 2014/02/18
便利Unicode情報だ

unicode
リンク
梵字とユニコード - phonetika (φωνητικά)
tyru 2012/11/01
Unicodeには梵字はないらしい

unicode
リンク
The UTF-8-Everywhere Manifesto
As can be seen, UTF-16 takes about 50% more space than UTF-8 on real data, it only saves 20% for dense Asian text, and hardly competes with general purpose compression algorithms. The Chinese translation of this manifesto takes 58.8 KiB in UTF-16, and only 51.7 KiB in UTF-8. Text operations on encoded strings The popular text-based data formats (e.g. CSV, XML, HTML, JSON, RTF and source codes of c
tyru 2012/05/03
unicode

utf8

c++
リンク
MHI 4.0 - おいらも Git-1.7.8-preview20111229-unicode を試してみた
tyru 2012/02/21
msys

git

utf8

unicode

文字コード
リンク
msysGit（Git for Windows）がいよいよ公式に UTF-8 をサポート！ - てっく煮ブログ
git最近、Git について勉強しています。Windows でGit をやるなら Cygwin と msysGit︵Git for Windows︶がメジャーなようです。Cygwin Git のいいとこ悪いとこCygwin は UTF-8 な日本語ファイル名にも対応しており、Cygwin の中で閉じてGit を使っている分には何不自由なく使えるのでお勧めです。ただし、次のような悲しいポイントがあります。 Cygwin 版Git は、Windows 向けの GUI なGit ソフト(TortoiseGit やGit Extensions)との相性が悪い Windows のエディタやマージツールと連携しようとするとパスのポリシーが違うのでうまくいかないnkf を噛ませようとしても、Cygwin 用の nkf バイナリは公式配布されておらず、わざわざ Cygwin 上で make す
tyru 2012/02/21
msys

git

utf8

unicode

文字コード
リンク
Unicodeの脳みそ星人はどこからやってきたのか - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
ねえねえ。これ何に見える？もしかして何かエッチなこと言わそうとしてます？いや、そういうのじゃないから。宇宙人……でしょうね。ふーん。宇宙人に見えるかあ。宇宙人に見えるっていうより、宇宙人とでも言うしかないというか。うん。これ、U+1F47E ALIEN MONSTERっていうUnicode絵文字の例示字形なんだけどね。ちょっとアレだよね。その元になった携帯キャリアの絵文字は、SoftBankのインベーダーのカニ星人*1。それから、auのタコ星人。どっちもわかりやすい宇宙人ですよね。それがどうしてこんな不吉な脳みそ星人になっちゃったんですか？話せば長いんだけどね。じゃあ、またの機会に……。ま、座れよ。ケータイの世界には、SoftBankにはアリ星人︵﹁宇宙人﹂︶とカニ星人︵﹁ゲーム﹂︶がいて、auにはタコ星人︵﹁宇宙人﹂︶とUFOがいる。はい。ありますね、これ。こいつ
tyru 2011/12/01
unicode

文字コード
リンク
東アジアの文字幅 (East Asian Width) の判定 - 中途
Unicodeの文字が全角で表示されるか半角で表示されるかは東アジアの文字幅特性値がヒントを与えてくれるそうです。︵日本語の場合は︶この値がNa︵狭︶、N︵中立︶、H︵半角︶だと半角、W︵広︶、F︵全角︶、A︵曖昧︶だと全角として扱うことが推奨されているようです。 Pythonではunicodedataモジュールを使うとこの特性値を取得できますが、JavaScriptにはそのような関数は見当たりません。ですが、Unicode Consortiumが、どの文字がどの東アジアの文字幅を持つかのデータファイルを公開しているので、そこから判定用のコードを機械的に生成できるはずです。で、以下が実際に生成したコードです。データファイルに、データファイルに出現しない文字はNとなるとあるので、以下ではN以外︵F、H、W、Na、A︶についてのみチェックを行い、それ以外をNと判定するようにしています。コメ
tyru 2011/11/30
east-asian-width

unicode
リンク
multiple-value-blog1: でっかい括弧
multiple-value-blog1 2011/11/20 でっかい括弧この記事は、#:g1: でっかい括弧に引っ越しました!ラベル: paren mc さんの投稿 @ 23:10 0 件のコメント 0 件のコメント: コメントを投稿登録コメントの投稿 [Atom] << ホーム
tyru 2011/11/23
lisp

unicode
リンク
はてなブログのUTF-8化テスト - そっと、はてなブログ
はてなブログは、文字コードがEUC_JPであったはてなダイアリーとは違い、UTF-8︵Unicode︶でエンコーディングされているらしい。そこでこのはてなブログに、ハングル文字を貼り付けて投稿してみる。 크리스마스는 외국 명절입니다. 꼭 행복해야 되고나, 꼭 카플해야 돼 필요없다고 생각해. 가끔 혼자 외롭게 보내는 크리스마스도 되게 멋있고요, 카플들은 잘 보내실테니까, ＊＊　한잔에 그럴 ＊＊＊＊　분위기도 좋고 그런 크리스마스도 좋은 것같습니다. 저＊＊　라디오하고 있을테니까, 라디오 들이시고요. クリスマスは、外国の行事です。必ず幸せにならなければならないとか、必ずカップルでなければならないわけはないと思うよ。ときには、ひとりで淋しく過ごすクリスマスもけっこうすてきでしょう。カップルたちは楽しく過ごしているんですから、＊＊一杯？　そんな　＊＊＊＊＊雰囲気
tyru 2011/11/14
hatena

文字コード

unicode
リンク
JavaSE 7でメソッド名に使えなくなった文字 | 株式会社エイチ・オー・エス
パッケージJava製品開発担当の大です。こんにちは。朝晩はだいぶ肌寒くなって、秋らしい空気になってきましたね。前回も書いたとおり、現在HOSでは製品のJavaSE 7での動作検証を進めています。JavaSE 7で早く使いたい方、申し訳ありませんがいましばらくお待ちください。さて、検証している上でちょっと困ったことが出てきました。従来動いていたテストコードの一部が、JavaSE 7ではコンパイルもできなくなってしまったのです。これはJavaSE 7の不具合か？と思い、調査してみました。日本語のテストメソッド名製品のクラス名やメソッド名では使いませんが、開発時のユニットテストのメソッド名やクラス名は、最近は、基本的に日本語で書くようになりました。これまで日本語メソッド名で特に問題が起こっていなかったことと、テストのレポートの出力がアルファベットのキャメルケースに比べ圧倒的に見やすいか
tyru 2011/11/06
java

java7

unicode

testing
リンク
Firefoxなどで半角濁点が前の文字と一緒に選択される理由 - しろもじメモランダム
Firefox などで下の半角濁点﹁ﾞ﹂・半角半濁点﹁ﾟ﹂を選択してみてほしい。ガ、あﾞ、漢ﾞ、aﾞ、ﾞ、☃ﾞ、✐ﾞえﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞっ!!ふﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟﾟ。ぬﾞﾞﾟﾞﾞﾞﾟﾟﾟﾟﾞﾞﾞﾞﾟﾞﾟﾞﾞﾟﾞﾞﾞﾞﾞﾟﾞﾞﾞﾟﾞﾟﾟﾟﾞﾞﾞﾟﾟﾟﾟﾟﾟﾟﾞﾞﾞﾟーんいくら半角︵半︶濁点だけを選択しようとしても、前の文字まで︵それがスペースだろうが記号だろうが︶一緒に選択されてしまうと思う。もう少し正確に言えば選択されるのは [^ﾞﾟ][ﾞﾟ]* にマッチする部分で、カーソルの移動の際にも [^ﾞﾟ][ﾞﾟ]* が一文字として扱われる。delete キーを押すと [^ﾞﾟ][ﾞﾟ]* が一気に消えるが、backspace キーでは半角︵半︶濁点がひとつずつ消える。 Windows のメモ帳*1など昔ながらのアプリケーショ
tyru 2011/09/03
firefox

文字コード

unicode

!share-with

!tumblr-tech
リンク
Loading...
tyru 2011/09/01
c++

codecvt

unicode

!share-with

!tumblr-tech
リンク
Loading...
tyru 2011/09/01
c++

codecvt

unicode

!share-with

!tumblr-tech
リンク
開発メモ: UTF-8とUCS-4の変換メモ
UTF-8とUCS-4の相互変換をC/C++で書いた時のメモ。たぶんまた自分で読むので。背景文字のちょっとした正規化などの処理をしたいがiconvやICUなどの巨大なライブラリは使いたくないということがたまにある。嚴密な文字列処理をしたい場合にはそれらのライブラリを使った方が安全だし確実であることは言うまでもないが、ちょっとしたユーティリティを作るのにはちょっとオーバースペックである。一方で、UTF-8文字列に対してはASCII用正規表現ライブラリを使えば検索や置換などの大抵の操作ができるので、自分でゴリゴリと変換処理を書かなければいけないことはあんまりない。ただ、たまに自分で書きたくなることもある。ヨーロッパ系言語のアクセント記号を外したり、半角片仮名を全角片仮名にしたり、漢字の異体字表記を常用漢字に統一したりといった処理を一気にやりたい場合とか。そんな場合、各文字が可変長バイト
tyru 2011/07/09
文字コード

unicode

utf8

ucs4

!share-with

!tumblr-tech
リンク
Twitterに登場する動物ʕ•̫͡•ʔの顔文字を構造解析する - RyoAnna
Tweet Twitterで見かけるようになったオバケのような動物の顔文字。 Yahoo知恵袋にこの顔文字についての問い合わせがあった。 ✔ 最近ʕ•̫͡•ʔとか༼⍨༽を見かけますが、これはどんな仕組みになっているのですか？ - Yahoo!知恵袋質問の回答として当ブログの記事がリンクされているが、この顔文字は本当に合成用区分符号で構成されているのだろうか。気になったので調べることにした。実は、先の記事でUnicoder Liteを紹介した後、アプリの作者さんからメールを頂いていた。そこにUnicoder Pro (App Store 450円)なら顔文字を解析できると書いてあったので試した。簡単にできた。1︶IPA発音記号拡張 0295 2︶一般句読点 20223︶合成用区分符号 0361 4︶合成用区分符号 032B 5︶一般句読点 20226︶IPA発音記号拡張02
tyru 2011/06/19
unicodeなんでもありだなw

顔文字

unicode

!share-with

!tumblr-tech
リンク
1 2 3 4 5 次のページ