波ダッシュ・全角チルダ問題 - とほほのWWW入門
PlainStyle (プレーンスタイル)
PlainStyle を友だちに教える 𝕏 Facebook はてブ 説明 文字を学術用の記号に置き換えることによって、擬似的にフォントをつけることができるツールです。 Unicode に対応しているアプリケーションであれば、X 以外にもコピペできます。 テキストの一部を選択してからフォントを選ぶと、その部分だけフォントが変わります。 フォントを指定できるのは英数字のみです。 length は X での消費文字数の目安です。 ご注意 重要な文書には使わないでください。音声読み上げやその他の機械処理で不具合が生じる恐れがあります。 URL やハッシュタグにフォントを付けるとリンクにならないかもしれません。 古い端末や OSバージョンによって正しく表示されない可能性があります。 当サイトは趣味で運営されています。環境によってうまく動かないかもしれませんが勘弁してください。 偽サイトにご注意く
今日はまた去年の作業が元ネタで、プログラミング言語の識別子に使える文字に関する話です。 レターか数字 「1文字目にはアルファベットか _、2文字目以降にはそれに加えて数字を使えます。」 30年くらい前にはこれが「プログラミング言語の識別子(変数名など)に使える文字列」の定義でした。 _ の部分はプログラミング言語次第ですが、「1文字目にアルファベット、2文字目以降に数字」の部分は結構いろんな言語でそうだったんじゃないかと思います。 まあ、昔のプログラミング言語は ASCII コードで書く物だったので、上記の条件は [a-zA-Z] とか [0-9] みたいな正規表現で書けたんですが。 Unicode の時代になると「アルファベットだけでいいのか」とか「アルファベットって何だ」という話になります。 レター まず、「アルファベット(alphabet)」というと母音と子音が分かれてる文字のことで
https://twitter.com/shiology/status/844712311885586433 https://gyazo.com/2d3a265a45cde946b3238a76789ce4ac
【💡名案】0～9の代わりにUnicode全文字を使えば「65536進法」になり，なんでも１桁で表現できるから２桁の計算が不要！ ・・・ためしに「65021－65018＝3」ってどう書くの？
ルワンダ語たん（キニヤルワンダ語・キニャルワンダ語・キニアルワンダ語の語学たん・学術たん） @rwanda_go_tan ＜Unicodeで１桁を表す＞ 65536進法で「65018」を表す文字は「 ﷺ 」※これで１文字 次に，65536進法で「65021」を表す文字は「 ﷽ 」※これで１文字 出典 compart.com/en/unicode/U+F… ・U+FDFA，ﷺ compart.com/en/unicode/U+F… ・U+FDFD，﷽ 2019-08-29 16:13:08 ルワンダ語たん（キニヤルワンダ語・キニャルワンダ語・キニアルワンダ語の語学たん・学術たん） @rwanda_go_tan ちなみに，65536進法で 「3」という数値を表す文字は… Unicode Character 'END OF TEXT' (U+0003) filefor
半角ひらがなってなんでないの？
絶対カタカナよりひらがなのが便利じゃん
Unicodeの絵文字の文字列操作は興味深い。 前提知識 「👨👩👧👦」という絵文字は、そういう1文字(コードポイント)が存在するわけではない。 「👨👩👧👦」は「👨」「👩」「👧」「👦」という4つの絵文字とZero Width Joiner(U+200D)という文字の組み合わせのデータで表現される: console.log( '👨' + '\u{200D}' + '👩' + '\u{200D}' + '👧' + '\u{200D}' + '👦' ) //=> 👨👩👧👦 上記のとおり、「👨👩👧👦」はデータとしては7文字なのだが、表示上1文字分の幅になっているだけなのである。 ちなみにJavaScriptのfor ... ofは文字列をコードポイントごとにループできるので、「👨👩👧👦」をforで回すと構成文字に分
現在は再現しなくなっているが、Google でプラットフォームごとの絵文字の数を検索するとサーバーエラーになる問題が発生していたそうだ (Bleeping Computer の記事、 Hacker News の記事、 BetaNews の記事、 エラー画面の Archive.today アーカイブ)。 エラーの内容としては、通常は検索結果が表示される部分に「Server Error」として説明が表示されるものだ。説明部分では要求を処理中に内部のサーバーエラーが発生したようだとして謝罪し、エンジニアが通知を受けて解決に向けて作業しているとして、あとでやり直すよう求めている。 エラーが発生する検索語句は英文で「how many emojis on ios|apple|windows|lumia」といったもので、「how may emojis on macos|linux|ipados」では問題
パソコンの世界で漢字を含む日本語を扱えるようにするために、処理が煩雑になるJISコードをそのまま扱うのではなく、文字コードセットの切り替え処理が不要になるシフトJISというコードが発明されました。 このコードがどのような経緯でMS-DOSなどで採用されたのかは、あまり詳しくわからないのですが、この文字コードは規格ではなくあくまで実装に過ぎなかったので、メーカー独自の判断で構わないと思われていたようです。 MULTI16 - 遂に三菱電機もパソコンを出した この文字コードが身近に使われるようになったのは、MS-DOSが日本語に対応した1983年にリリースされた「日本語MS-DOS Ver2.x」からだと思います。この段階で階層化ディレクトリもサポートされ、CP/Mから継承したコマンドオプションは”/”で始まるというルールが仇となりパスの区切り文字がUNIXなどで使われていた”/”の代わりに”
Unicodeの開発を調整する非営利団体Unicode Consortiumは1月29日、2020年中に各種サービスで利用できるようになる新しい絵文字セット「Emoji 13.0」が確定したと発表した。メーカーなどへのリリースは3月で、iOSやAndroidなどで使えるようになるのは9月か10月になる見込みだ。 新たに62の絵文字が追加された。昨年大流行した「タピオカドリンク」やダイバーシティに配慮した「赤ちゃんにミルクをあげる男性」などもある。
NFD→NFC変換ツール
(バージョンアップ)NFD→NFC変換ツール ※濁点や半濁点が別(U+3099,U+309A)の合成文字を単体の文字に変換するツール。 詳しくはこちらを参照。【変換したいテキスト】 【変換後のテキスト】
Windows 10ミニTips(444) 「ワールドワイド言語サポートでUnicode UTF-8を使用」は有効にすべき？
「Windows 10ミニTips」は各回の作成時点で最新のWindows 10環境を使用しています。 UTF-8化は世界的な流れだがトラブルを招く可能性アリ Windows 10の日本語ロケール（日本語文字コード）は慣例的にShift_JISとなっていたが、時代の流れと共にUTF-8化が進んできた。例えばメモ帳で作成したテキストファイルのファイル形式は、すでにANSI（Shift_JIS）からBOMなしUTF-8に変更されている。 バージョン1903では、メモ帳で使用する既定の文字コードがUTF-8になった このUTF-8を、Windows全体に適用するオプション（日本語ロケール）はバージョン1803で加わった。下図に示した手順で日本語ロケールをShift_JISからUTF-8に変更できるが、気になるのはバージョン1803でも“ベータ”だった本機能が、現時点での最新となるバージョン190
B2C、B2B プロダクトマネジメントの違い（および思考の罠） / B2C, B2B PM and reduction fallacy
Original article:https://dev.to/dotnetsafer/rip-copy-and-paste-from-stackoverflow-trojan-source-solution-4p8f その昔コピペできない文章というものがありました。 実際は単にフォントを変えているだけというものですが、人間の目に見える文字と実際の文字が異なることを利用した攻撃の一種と見ることもできます。 さて、最近になって似たような攻撃に関する論文が公開されました。 人間には見えない文字を織り交ぜることによって、一見問題ないコードが実は脆弱になってしまうというものです。 ただ論文は堅苦しいうえに長くて読むのがつらいので、具体的に何がどうなのかよくわかりません。 平易に解説している記事があったので紹介してみます。 以下はDotnetsafer( Twitter / GitHub / Web
JavaScript Object Notation or JSON is a ubiquitous data exchange format on the Web. Ingesting JSON documents can become a performance bottleneck due to the sheer volume of data. We are thus motivated to make JSON parsing as fast as possible. Despite the maturity of the problem of JSON parsing, we show that substantial speedups are possible. We present the first standard-compliant JSON parser to pr
GitHub - tonton-pixel/unicopedia-plus: Developer-oriented set of Unicode, Unihan & emoji utilities wrapped into one single app, built with Electron.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.
平衡点(2020-12-18)
HTMLで使用することのできる絵文字の文字コード一覧です。入力方法についても解説します。 この記事のポイント 絵文字は「数値文字参照」で入力する 数値文字参照は「10進数」と「16進数」の2種類の書き方から選ぶことができる 絵文字が記号として表示されてしまうときはCSSでfont-familyプロパティを指定する 絵文字の書き方 HTMLで「😀」「👍」のような絵文字を表示したい場合は、記号・特殊文字と同じように「数値文字参照」を使います。 iOSの絵文字 絵文字の入力で使用する「数値文字参照」はUnicodeで定められた16進数、または10進数の値を以下のフォーマットで指定して表示させます。 数値文字参照 (10進数)の書き方 10進数のフォーマットで絵文字のコードを書くときは「&#」と「;」で囲みます。 文字実体参照(10進数)の入力例 😀 // => 😀 
ECMAScript proposal: RegExp flag `/v` makes character classes and character class escapes more powerful
ECMAScript proposal: RegExp flag /v makes character classes and character class escapes more powerful In this blog post, we look at the ECMAScript proposal “RegExp v flag with set notation + properties of strings” by Markus Scherer and Mathias Bynens. The new flag /v # The proposed new regular expression flag /v (.unicodeSets) enables three features: Support for multi-code-point graphemes (such a
Fadis on Twitter: "ソースコードにUnicode制御文字を挟むことで人間には違う意味に見えるソースを作るトロイのソースが出てから各言語で対応が議論されている。対応が早かったRustは問題となっているコードポイントがコード中に現れるのを禁止したが、Py… https://t.co/h9KJeXHK5b"
ソースコードにUnicode制御文字を挟むことで人間には違う意味に見えるソースを作るトロイのソースが出てから各言語で対応が議論されている。対応が早かったRustは問題となっているコードポイントがコード中に現れるのを禁止したが、Py… https://t.co/h9KJeXHK5b
CP932とMS932の違いを調べて知ったCP932とSJISの違い - ponsuke_tarou’s blog
You need to find a specific Unicode character? With Shapecatcher.com you can search through a database of characters by simply drawing your character into a box. It can find the most similar character shapes for your drawing.
以前の記事で公開した「シフトJIS⇒UTF-8変換」バッチを改良しましたので再度公開します。 バッチを書き直しました 【本記事のバッチは非推奨です】 本記事のあとにさらに改善された UTF-8 変換バッチを公開しました。 本記事の一部バッチにあった不具合を解消したうえ、信頼性、使い勝手もよくなっていますので、今後はこちらのご利用をよろしくお願いいたします。 www.shegolab.jp 以前、当ブログの記事で「シフトJIS⇒UTF-8変換」バッチを紹介しました。 シフトJISのテキストファイルをUTF-8に変換するバッチ - シーゴの Excel 研究室 実はこのバッチ、入力ファイル名に半角カッコ「()」など特定の記号が含まれていると、そのファイルを処理できない問題があることが最近判明しました。これは Winodow バッチの限界に起因する問題で手の打ちようがなく、困っていました。 そん
C# XmlSerializerの使い方 - け日記
XMLでリクエスト／レスポンスするAPIへアクセスする機会がありましたので、XmlSerializerの使い方を備忘録にしておきます。 XMLをシリアライズ／デシリアライズする まずはC#オブジェクト(ここではBook)とXML形式の文字列でシリアライズ／デシリアライズさせる方法です。 Bookクラス用のXmlSerializer(System.Xml.Serialization名前空間)を定義して、Serializeメソッドでシリアライズできます。 publicのフィールドまたはプロパティがXML要素になりますが、XmlRootAttribute、XmlElementAttributeで要素名を指定しています これらの属性が無い場合は、フィールド名・プロパティ名がそのまま要素名になります XMLの繰り返し構造を定義することもでき、その場合はXmlArrayAttributeで親要素名、X
GB18030-2022が来た！詳細編—内容から読み取る本質〈エリックの多言語文字散歩〉｜ヒラギノフォント公式note
前回の概要編では、じっくりとGB18030-2022の表紙を見ながら、中国におけるGBの定義、GB18030規格改定の概要、製品への搭載義務などについて解説しました。今回は、いよいよ表紙をめくって更新された内容について詳しく解説していきます。 漢字はとにかく多いGB18030-2022の規格書の実物を見ると、まずその厚みに圧倒されるでしょう。700ページを超えるページをパラパラとめくってみてわかるのは、本文はわずか8ページ程度で、残りのほとんどは付属書である長い文字コード表ばかりです。 文字コードの国際標準としてISO/IEC 10646があります。そして業界規格のUnicodeとおおむね互換しています。一方でGB18030は中国独自の規格です。GB18030は策定当初から国際標準の存在を意識して設計され、膨大な量のコードポイント（符号位置）と、各文字コードを相互変換するための対応表を用意
めっちゃ久々に Perl5系 書いたのですが、そのときに今更 Perl にはユーザ定義文字特性というものがあることを知りました。 perlunicode - Perl における Unicode サポート - perldoc.jp ユーザ定義文字特性によって、例えば半角のカタカナだけヒットさせるのを作ろうとなった場合、半角カタカナの範囲をユニコードの表で確認して https://unicode.org/charts/PDF/UFF00.pdf `ｦ`である `FF66` から `ﾟ` の `FF9F` までヒットさせようと試みる場合、以下のような文字特性をかけます package Experopero::Sample; use utf8; use strict; use warnings; ... # 半角カナ文字 `ｦ` ~ `ﾟ` を指定したユーザ定義文字特性 # see: https:
MacType が効いている MSYS2 の mintty は、雪だるまと令和合字の字送りの幅が半角扱いなことを除けば、概ね合格です。 サロゲートペアを扱えないのは、マルチバイトの文字コードを扱えない、シングルバイト圏のソフトウェアのような話です。 FontLinkレジストリの FontLink で欧文フォント等に和文フォント結び付けていると、意図しない形で FontLink と異なるフォントになることがあります。メモ帳で先ほど同様に試してみると、次のように。 どうやらコードポイントによって、FontLink のフォントでなく、システムの他のフォントで描画されてしまうようです。 ☃ U+2603 が Segoe UI Emoji𠮟 U+20B9F や 𠮷 U+20BB7 が 游明朝しかも、混入した 游明朝 の文字は、なぜか一回り大きな文字サイズです。標準の Segoe UI や Tah
IVS(Ideographic Variation Sequence/Selector)は、文字符号としては同一視される漢字の、細かな字形の差異を特別に使い分けるための仕組みです。IVSは文字符号の国際規格であるISO/IEC 10646(2008年版以降)に規定されています。また、IVSと、それに対応する字形の一覧は、UnicodeコンソーシアムからIVD(Ideographic Variation Database)として公開されており、ISO/IEC 10646から正規の規格として参照されています。 文字符号（文字コード）を定める日本工業規格のJIS X 0213(以下、JIS)やISO/IEC 10646 Universal Coded Character Set（以下、UCS）などでは、複数の字形に対して一つの共通な符号（コード）を与える場合があります（「同一の符号位置に複数の字
Qiita Advent Calendar 2020のJava Advent Calendarの12月7日のエントリです。12月9日付けで追記と内容修正あります。 トルコ語問題については、ご存知の方はご存知だと思いますが、聞いたことがない人にはなかなか理解できない問題なので2020年の今、もう一回おさらいしておくのもいいかと思い書いています。（ほかにネタがなかった、とも言う。） トルコ語の何が特殊なのか トルコ語（とアゼルバイジャン語）には、dotted-iとdotless-iの二つのアルファベットがあります。 通常私たちは「i」の大文字が「I」であり、「I」の小文字が「i」であると理解しています。しかし、トルコ語ロケール（とアゼルバイジャン語ロケール）では「I」はドットなしIであるとみなされ、その小文字は「ı」になります。逆に「i」の大文字はドットありの「İ」なのです。 このため、以下の
Go言語で書かれたorderedmapというサードパーティパッケージがあります。 github.com Goのmapには順序がなく、JSONをデコードすると順序が失われ、それをエンコードするとオブジェクトのキーの順序にソートされます。 これに困る人はそこそこいるようで、順序を保持するmapはいくつか実装されてきました。 その中の一つが、orderedmapというパッケージです。 シンプルなインターフェイスが気に入っています。 orderedmapパッケージの利用例 package main import ( "encoding/json" "fmt" "log" "github.com/iancoleman/orderedmap" ) func main() { src := `{ "z": 1, "x": 2, "y": 3 }` fmt.Println("# map[string]in
「多様な肌色の絵文字」を開発した黒人女性はそのアイデアをアップルに盗まれた | アップルは外部のアプリ開発者に不利な条件を課し、利益を巻き上げる
スマートフォンなどの絵文字では、多様な人種を表すために肌の色が変えられるようになっている。このアイデアを初めに形にし、推進したのはあるアメリカの黒人女性だったが、アップルにアイデアを盗まれ、彼女は充分な対価を得られなかった。そのため、著作権侵害でアップルを起訴し、現在裁判が進行しているという。 インクルーシブなアプリのアイデア カトリーナ・パロットには、それは夢のようなことだった。自分の考案したアプリのプレゼンテーションをするため、カリフォルニア州クパチーノのアップル本社に招かれたのだ。テキサス州のNASAに解雇されて1年も経たたない今、自分が先駆けて開発した「肌の色を選べる絵文字」について、あのiPhoneメーカーと事業提携の話し合いをするのだ。
インターネットが世界中で普及している現代では、世界中のコンピュータが相互にデータを授受できるように、文字コードの統一が必須です。 そこで，考案されたのがUnicode（ユニコード）と呼ばれるコード体系です。 UnicodeはISO（国際標準化機構）規格となり、国際的に認められています。 文字コードに関する記事はこちら 文字コードとは？コンピュータの文字コードの種類 私たち人間は、 数字（10進数：0 〜 9） 文字 平仮名（あ 〜 ん） 片仮名（ア 〜 ン） 漢字 アルファベット（A ~ Z） 音 色 等々 を認識出来ますが、コンピュータは 数字（10進...
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
UAX31: Unicode Identifier の話
クメール文字が書けない - Helpfeel社のScrapboxを一部公開
絵文字の文字列操作: '👨🏻💻'.replace('💻', '🏫') === '👨🏻🏫' - Qiita
3年ぶりに無料の老舗アーカイバー「Explzh」がメジャーバージョンアップ ～v9に到達／Unicode 64bit版の自己解凍書庫を作成可能に
Google で絵文字の数を検索するとサーバーエラーになる問題 | スラド IT
Shift_JISとWindows-31J(CP932)とJIS漢字水準の関係について
シナ「プ」スで困った話～Macの濁点、半濁点問題 - シナプス技術者ブログ
￥を巡る不都合な真実 - モディファイド・シフトJISという化石｜kzn
https://unicode.org/emoji/charts-13.0/emoji-released.html
「Unicode Emoji 13.0」決定──タピオカドリンクも遅まきながら登場
Visual C++ 文字列 まとめ - Qiita
Python で zip 展開（日本語ファイル名対応） - Qiita
MySQLと令和 / MySQL to Reiwa
StackOverflowからのコピペをやめろ。今すぐにだ。 - Qiita
Parsing Gigabytes of JSON per Second
HTMLの絵文字 文字コード表 | GRAYCODE HTML&CSS
Shapecatcher: Draw the Unicode character you want!
【改良版】シフトJISをUTF-8に変換するバッチ - シーゴの Excel 研究室
Perl のユーザ定義文字特性 - ┗┐＜(՞ਊ՞)＞┌┛
Windows のコンソール端末と Unicode の相性
PHPカンファレンスの過去14+3回の登壇を振り返る - Qiita
Unicode IVS/IVDについて | 一般社団法人 文字情報技術促進協議会
「Unicode 15.0」が公開 ～新しい絵文字20種を含む4,489の新たな文字が追加／「Noto Emoji」や「Last Resort Font」もさっそく対応
念のためもう一度トルコ語（等）で起こる問題について整理する - Qiita
Go言語のorderedmapパッケージを改善した - プログラムモグモグ
UnicodeとUTF-8の違い。UTF-8・UTF-16・UTF-32とは