[B! unicode] klim0824のブックマーク

誰でも簡単⁉️👀 絵文字ができるまで😃👍

こんにちは！サイボウズ株式会社フロントエンドエンジニアのおぐえもん︵@oguemon_com︶です。先日開催された社内イベントCybozu Frontend Day 2023にて私が発表した絵文字の仕様策定に関する紹介を、当時の時間的制約から泣く泣く割愛した内容を加えた上で文章の形にまとめました。また、情報は全て2023年8月1日現在のものです。はじめに今や﹁ぴえん🥺﹂や﹁おじさん構文﹂などの様々な形で老若男女を問わず私たちの生活・文化に深く根ざしている絵文字。ところで、そんな絵文字たちにも生みの親がいることを意識したことがありますか？例えばこちらの絵文字にも生みの親がいます。 🥱は、Jay Petersさんが2017年9月に提案しました。 Jay Petersさんの職業はニュース編集者。決してデザイン事務所やGAFAなどのエンジニア・デザイナーではありません。このよう

klim0824 2023/08/10

リンク

JavaScriptで平仮名(ひらがな)を判定する - Qiita

regex = /*ここに何らかの正規表現*/; regex.test("あいうえお"); // -> true regex.test("あぁ"); // -> true regex.test("aiueo"); // -> false regex.test("あいueo"); // -> false regex.test("あいうえお"); // -> false

klim0824 2023/01/06

リンク

ハイフンに似ている横棒を全て統一するᅳㅡ˗𐆑–᭸‒-─−▬𐄐—━‐‑ー﹣―ｰ﹘－⁃➖⁻！ - Qiita

はじめにこれらの横棒、コンピュータにとっては全て違うのですが見分けがつくでしょうか？ -˗ᅳ᭸‐‑‒–—―⁃⁻−▬─━➖ーㅡ﹘﹣－ー𐄐𐆑 郵便番号、住所、電話番号など、横棒が使われているデータを扱うとき、人が入力したデータや購入したデータであると、同じ記号が使われていないことはよくあることです。 090-1234-5678 090᭸1234᭸5678 090‑1234‑5678 090−1234−5678 これらの電話番号の文字列も phone_no_list = ['090-1234-5678', '090᭸1234᭸5678', '090‑1234‑5678', '090−1234−5678'] # 文字をUnicodeコードポイントに変換 for n in phone_no_list: # 文字列の4番目の横棒の文字コードを見てみる print(n[3], ord(n[3]

klim0824 2021/11/03

unicode

リンク

異体字の世界【サイトウ】 - Qiita

ここも考慮すると斎藤と書くと 69.3% 正解で、斉藤と書くと 30.7% 正解になります。また子供のころに斎が難しかったので斉と書いていたケースも考えると、この二つの差は少し縮まりまるかもしれません。とりあえず確立論的には斎と書けば…なんとなく、あたるかも…しれない？︵ちゃんと本人に確認とりましょう！！！︶斉 | 法務省　戸籍統一文字情報　詳細表示の正字斎 | 法務省　戸籍統一文字情報　詳細表示の正字人数情報﹁斎藤﹂﹁斉藤﹂﹁齋藤﹂﹁齊藤﹂・・この差って何？ | 東洋経済オンライン拝啓斎藤さん先日エンジニアとしてサイトウさんが入社したときに﹁サイトウのサイってどう書きますか…？ Unicodeで教えてください。﹂という、いつものあれが発生したのでそろそろサイトウについて理解してみようと思いました。また以前に﹃異体字の世界”ワタナベ”﹄| 漢

klim0824 2021/10/20

リンク

Unicode のカタカナを調べる

Qiitaで Goでカタカナバリデーションを実装しようとしたが、unicodeパッケージのKatakanaテーブルには記号なども含まれていた。 - Qiitaという記事を見かけたので，自分でも調べてみる。上の記事にもある通り unicode.Katakana は以下の範囲で定義されている。 var _Katakana = &RangeTable{ R16: []Range16{ {0x30a1, 0x30fa, 1}, {0x30fd, 0x30ff, 1}, {0x31f0, 0x31ff, 1}, {0x32d0, 0x32fe, 1}, {0x3300, 0x3357, 1}, {0xff66, 0xff6f, 1}, {0xff71, 0xff9d, 1}, }, R32: []Range32{ {0x1b000, 0x1b164, 356}, {0x1b165, 0x1b1

klim0824 2021/09/19

リンク

JavaScript で文字数を length で数えるのはやめようの実例

はじめに JavaScript において文字数を String の length で取得すると、期待した値が得られないことがある。この記事では、実際に String の length を使うことによって発生した Prettier のバグを紹介する。前提 JavaScript の String には length というプロパティが存在する。このlengthプロパティは文字列の文字数を表すものではない。実際には、文字列中に含まれるUTF-16のコードユニットの数を返す。つまり、ASCIIをはじめとしたBMPに含まれるものであれば我々の期待する文字数が返ってくるが、一部の漢字やemojiなどについてはそうはならない。たとえば、漢字の𠮟(U+20B9F)はサロゲートペアであり、2つのコードユニットで表される。そのため、length は2になる。

klim0824 2021/08/04

リンク

BOMなしUTF-8によってWindowsでもたらされる困惑 (1/2)

かつてWindowsでテキストファイルといえばシフトJIS形式のものが大半だった。しかし最近では、UTF-8形式のテキストファイルも普通に見かけるようになってきた。世の中はUTF-8が主流になりつつあると言っていいだろう。しかし、WindowsでUTF-8を使うと、ちょっと困ったことがある。それは、エクスプローラーの検索欄などで用いるWindows Searchが、UTF-8にはしっかり対応していないのである。正確に言うと、Windows Searchはファイル先頭に﹁BOM﹂のあるUTF-8は認識して正確にインデックス化し、ファイルの全文検索が可能になるが、BOMのないUTF-8では正しくインデックス化できず、ファイルの全文検索はASCIIコードのみ可能で、日本語などの非ASCII文字では全文検索ができない。同じ内容のテキストをUTF-8、UTF-8 BOM付き、UTF-16ビッグエ

klim0824 2021/06/14

リンク

文字列を反転させたい｜nona

こんにちは。徒然なるままにTweetを眺めていたら、Tanakaさんがこのようなことを呟いていました。そういやRustのStringにreverseメソッドないなと思ったけど、まあよく考えたらUTF-8で文字逆転させるとか地獄のような話になるしそもそも長さが変わるケースとかあったりしそうで怖いわな・・・(´・_・`) — Hideyuki Tanaka (@tanakh) May 1, 2021 背景等はよくわからないですが、文字列の反転というのは確かに難しい問題ですし、どう難しいのかというのを、ちょっと真面目に考えて解説してみました。というノートです。本文での表記についてこれから文字とそのバイト表現の話をしていきます。文字のエンコードの方式で同じ数値でも色々意味が分かれてしまいますので、本文では以下のように表記することにします。 Unicodeコードポイント︵以下、単にコードポイント

klim0824 2021/05/02

unicode

リンク

Unicode 版美乳テーブルを探せ

美乳テーブルとは「美乳テーブル」という物がある。「EUC-JP の文章を Shift_JIS だと誤認識されない様に、EUC-JP 固有のバイト値を文章先頭付近に埋め込んでおく」という物。具体的に、Shift_JIS には 0xFD と 0xFE が現れず、EUC-JP にはそれが現れるので、その値を含む文字コードを書いておこうという事で、その文字の集合に付いた名前。 “美” = 0xC8FE、“乳” = 0xC6FD。各文字エンコーディングの事情但し、これは EUC-JP での話。一応、文章の先頭付近に日本語の文字を書いておくのは、他の文字エンコーディングでも認識のヒントにはなるけど。逆に「Shift_JIS の文章を EUC-JP だと誤認識されない様にする」には、EUC-JP にはないバイト値の 0x80〜0xA0 を書けばいいんだろうけど、これは沢山ありそうだから、慎

klim0824 2021/04/04

unicode

リンク

Unicodeコンソーシアムが提供する“最後の手段”フォント「Last Resort Font」／フォールバック指定しておけばフォントに含まれていないグリフを突き止められる【レビュー】

klim0824 2021/02/03

font
unicode

リンク

Haruhiko Okumura on Twitter: "「〇」U+3007と「○」U+25CB以外にも「◯」U+25EFがあって https://t.co/MNQyar2zvT"

「〇」U+3007と「○」U+25CB以外にも「◯」U+25EFがあって https://t.co/MNQyar2zvT

klim0824 2021/01/04

unicode

リンク

ビルマ語（ミャンマー語）のUNICODEはUNICODEじゃなかった？ | エヤワディ Blog

2011/12/09IT, ビルマ語︵ミャンマー語︶, ミャンマー絡み以前ビルマ語︵ミャンマー語︶についてブログに書いたのは2009年2月の﹁ビルマ語をWindowsで～Unicode以前﹂だった。その後すぐに続編を書く予定だったのが、結局今日になってしまった。3年越しの恋ならぬ、3年越しのユニコードだ。 Unicode︵ユニコード︶とは、コンピュータで文字を扱うための世界標準の規格だ。Unicodeにはビルマ語も含めて世界中の文字が規定されている。このおかげで、コンピュータで簡単に世界各国の文字を見たり書いたりすることができる。ちなみに、ビルマ語はUnicodeの1000番～109F番とAA60番～AA7B番までのエリアを割り当てられている。ちょうど1000番で覚えやすいが、1000といっても16進の1000だから10進で数えると4096番目だ。 Unicodeの1000番〜109F

klim0824 2020/10/24

2011/12/09の記事

unicode
font

リンク

nicowiki.com

klim0824 2020/09/12

unicode

リンク

MySQLの文字コード事情 2017版

"Портирование Web SDK с JS на TS" Петров Григорий, Voximplantit-people

klim0824 2020/07/13

リンク

MySQLの文字コード事情

2018/01/26 第2回オープンソースデータベース比較セミナー https://osscons-database.connpass.com/event/74688/

klim0824 2020/07/13

リンク

MySQLと「令和」 - tmtms のメモ

新元号が「令和」に決まったことなので、MySQLでの扱いについての話を。普通の文字「令」も「和」もJIS第一水準に含まれている基本的な文字なので普通に日本語が使用できるcharsetで使用できます。 mysql> create table t ( utf8mb4 varchar(255) charset utf8mb4, utf8mb3 varchar(255) charset utf8mb3, utf16 varchar(255) charset utf16, utf32 varchar(255) charset utf32, cp932 varchar(255) charset cp932, eucjpms varchar(255) charset eucjpms, sjis varchar(255) charset sjis, ujis varchar(255) charset

klim0824 2020/06/10

リンク

不必要な制御文字への対処 - pixiv inside

こんにちは、晴れて2020新卒になったmipsparcです。最近は趣味の鉄道技術系同人誌の新版が出来上がって喜んでいます。本記事では、入力値には必ずと言っていいほど混入する不必要な制御文字への対処方法をご紹介します。ユーザーに文字列を入力してもらうことのあるすべてのサービスで活用できる話かと思います。不要な制御文字が入ることで生じる問題前提として、この記事は制御文字類が必ずしも邪魔と言いたいわけではありません。制御文字は多言語対応(特に右から左方向に記述する言語)などで重要なときもありますが、今回は問題が発生しうるケースのお話をします。﹁‪腐向け﹂﹁メリークリスマス‬﹂﹁ゾンビ﹂なんの変哲もない3つのイラストタグですが、どれも不可視の制御文字が混入しています。 $ php -r "var_dump(json_encode('腐向け'));" string(26) ""\u2

klim0824 2020/05/14

unicode

リンク

Unicode 13.0 で新しく収録された日本語の漢字｜Colorless Green Ideas

2020年3月にリリースされた Unicode 13.0 では、「日本で最も画数が多い字」とも呼ばれる「たいと」という漢字と宮沢賢治の詩の中に出てくる「鏡」を4つ組み合わせた漢字が収録された。また、Unicode 13.0 における部首の例示フォント変更についても触れる。はじめに Unicode は世界の様々な文字をコンピュータ上で統一的に扱うための国際規格である [1] 。Unicode には毎年のように新しい文字が追加されており、2020年3月にリリースされた Unicode 13.0 では 5,930字が追加されている [2] 。 Unicode 13.0 での漢字の追加 Unicode 13.0 で追加された文字の大半は漢字である。Unicode 13.0 では、漢字 [3] を追加するためにCJK統合漢字拡張G (CJK Unified Ideographs Extension

klim0824 2020/05/09

リンク

文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）

文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！文字コードには、どのような種類があり、それぞれどのような意味を持つのか、といった、文字コードの基本的な概念、従来の文字コードを紹介し、現在のUnicodeの構成を概説し、プログラミングにおいて注意すべき箇所をいくつか取り上げます。ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説します。文字コードとは？ Unicode以前の文字コード Unicodeとその主な符号化形式 UTF-16 UTF-32 UTF-8 Webで文字コードを指定する仕組み

klim0824 2020/04/28

unicode

リンク

Unicode 絵文字にまつわるあれこれ (絵文字の標準とプログラム上でのハンドリング) - Qiita

こんにちは、株式会社ミクシィで家族アルバムみてねというアプリの開発に携わっている @_sobataro です。この記事では絵文字の標準とその扱いについてまとめます。なお、この記事は mixiグループ Advent Calendar 2016 18日目の記事です。昨日は @radioboo さんの IGListKitでフィードUIをリファクタするでした。明日は @yusuke_tashiro さんの担当です。 TL; DR Part I. Unicode 絵文字の標準について。暇人向け。読まなくてよい。 Part II. 実際にプログラムで絵文字を扱う上で問題となりうる点について。 Unicode 絵文字の文字数 (書記素クラスタの個数) を厳密に正しくカウントするには、最新の Unicode (現時点では Unicode 9.0) 以降に対応したパーサが必要。 Acti

klim0824 2020/04/22

リンク

はてなブックマーク

タグ

関連タグで絞り込む (17)

unicodeに関するklim0824のブックマーク (40)

お知らせ

今週のはてなブックマーク数ランキング（2024年6月第4週）

今週のはてなブックマーク数ランキング（2024年6月第3週）

今週のはてなブックマーク数ランキング（2024年6月第2週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス