タグ

関連タグで絞り込む (30)

タグの絞り込みを解除

文字コードに関するmakoto15のブックマーク (92)

  • マイナンバーカード作成時に氏名の常用漢字「樹」が代替文字になる問題

    重い腰を上げマイナンバーカードを作成しようと申請したところ、気になることが発生しました。 代替文字とはなんでしょうか。 署名用電子証明書は、コンピュータで使用されるものであるため、氏名、住所は、文字化けせずにコンピュータで表示されるものとする必要があります。このため署名用電子証明書で利用可能な文字は、JIS（日本工業規格）の漢字の規格の内、日常的に使用頻度の高い常用漢字と人名用漢字を含むJIS第一水準、第二水準（JISX0208）と補助漢字（JISX0212）の範囲としています。 住民基本台帳の氏名または住所が電子証明書に記載するコード取扱範囲外の場合は、コンピュータでの表示に類似の字形を指定し、代替文字として登録します。（公的個人認証サービスポータルサイトより） 平たく言えば、「パソコンで普通に打てない名前は置き換えるよ」という意味です。 名字が旧字体で変換しても出てこない人も多いでしょ

    マイナンバーカード作成時に氏名の常用漢字「樹」が代替文字になる問題

  • マルチバイト文字とURL | 技術者ブログ | 三井物産セキュアディレクション株式会社


    MBSDでWebアプリケーションスキャナの開発をしている寺田です。 前記事では正規表現でのURLのチェックについて書きました。今回はその続きでマルチバイト文字を使った攻撃について書きたいと思います。 前提条件 本記事で想定するのは、ブラウザからパラメータとして渡されて来るURLを、リダイレクトやリンク等のURLとして使うケースです。その中でも、以下のようにサブドメイン部分︵★の部分︶を可変にする状況を主に想定します。 https://★.example.jp/… 攻撃の目標は、異なるドメイン︵evil︶のURLを与えてチェックをすり抜けることです。前回の記事にも書きましたが、この状況は︵半角英数等のサブドメインしか受け入れないような場合を除き︶﹁/﹂﹁?﹂﹁#﹂﹁\﹂のいずれかをサブドメインに入れることで攻略できることが大半です。 今回はこれらの記号が全て使用できないように対策されているこ
    マルチバイト文字とURL | 技術者ブログ | 三井物産セキュアディレクション株式会社

  • Python 3.15からデフォルトのエンコーディングがUTF-8になります - methaneのブログ


    Pythonがファイルを開くときなどに使われるエンコーディングはロケール︵WindowsではANSIコードページ︶依存でした。 Unixの世界ではどんどんUTF-8ロケールが一般的になっている一方、WindowsのANSIコードページはなかなかUTF-8になりません。 そのために、Unixユーザーが open(filepath) のようにエンコーディングを指定しないままUTF-8を仮定するコードを気軽に書いてしまって、Windowsユーザーがエラーで困るといった問題が発生します。 また、Windowsでもメモ帳︵Notepad.exe︶やVSCodeはすでにUTF-8をデフォルトのエンコーディングで使用しています。ANSIコードページがUTF-8になるのを待っていたらどんどん周りの環境から置いていかれ、レガシー化してしまいます。 Pythonがデフォルトで利用するエンコーディングをWind
    Python 3.15からデフォルトのエンコーディングがUTF-8になります - methaneのブログ

  • Unicode 版美乳テーブルを探せ

    美乳テーブルとは 「美乳テーブル」という物がある。 「EUC-JP の文章を Shift_JIS だと誤認識されない様に、EUC-JP 固有のバイト値を文章先頭付近に埋め込んでおく」という物。 具体的に、Shift_JIS には 0xFD と 0xFE が現れず、EUC-JP にはそれが現れるので、その値を含む文字コードを書いておこうという事で、その文字の集合に付いた名前。 “美” = 0xC8FE、“乳” = 0xC6FD。 各文字エンコーディングの事情 但し、これは EUC-JP での話。 一応、文章の先頭付近に日本語の文字を書いておくのは、他の文字エンコーディングでも認識のヒントにはなるけど。 逆に「Shift_JIS の文章を EUC-JP だと誤認識されない様にする」には、EUC-JP にはないバイト値の 0x80〜0xA0 を書けばいいんだろうけど、これは沢山ありそうだから、慎

  • 「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita


    物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様﹁このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。﹂ 拙者︵あれ…UTF-8にしてたと思うんだけどな︶ 拙者﹁確認いたします。﹂ 文字コードを確認する 本案件はいわゆる更新案件で、今回の納品時に言われていたのは、﹁文字コードがUTF-8ではないものは変換して納品してくれ﹂ということ。 そして、ご指摘いただいたのは、今回の更新案件で中身はいじらなかったJavaScriptファイル。 本来ならば納品するファイルではないのですが、文字コード変換という要件があったため、納品ファイルとして加えられたものでした。 一括で文字コードを変えたので作業漏れかなぁと思っていました。 ファイルの中身は記事用にかなり適当につくったものですが、まあだいたいこんな感じです。
    「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita

  • Note 18: 【CM】Software Design 2019年10月号「絵文字特集」に寄稿しました｜Chihiro Fukazawa (深沢 千尋)


    スミマセン、ここでちょっと予定を変更してCMをお届けします。 現在発売中の技術評論社刊﹃Software Design﹄2019年10月号に寄稿しています。 第2特集‥わかりやすい絵文字の講座 絵文字をきっかけに振り返る文字コードの歴史 ガラケー時代，日本の携帯各社が囲い込み戦略として始めたケータイ絵文字が，今や世界を巻き込む一大カルチャーとなりました。それによって，ITエンジニアも，絵文字の存在を無視できなくなりました。むしろ，強烈に意識せざるを得なくなりました。本特集では，絵文字を可能にしているさまざまな技術を，文字コードの歴史と共に振り返ってみます。特集1個まるまる受け持つのは久々ですが、得意の内容なので︵一応な！︶ノリノリで書けました。 が、いざ脱稿してから、大きな判型の美しい誌面になるまでの日々を振り返ると、編集者の方の力の大きさを感じ、そしてあらためて雑誌という媒体のパワーを感
    Note 18: 【CM】Software Design 2019年10月号「絵文字特集」に寄稿しました｜Chihiro Fukazawa (深沢 千尋)

  • [PDF]新元号名で使用する文字コードについて（周知）（平成３１年４月５日経済産業省事務連絡）

    makoto15
    makoto15 2019/05/02
    「令」の文字に関しては、上記の文字コードのほかに、Unicode において、U+F9A8 に互換漢字「令」が割り当てられていますが、 U+F900 – U+FA0B のブロックは、韓国の文字コード規格 KS X 1001 との往復変換を可能にする
    リンク

  • 榊の字形について｜小松 弘幸｜note


    ﹁榊﹂という文字は、同じ文字なのに使うソフトウェアによって﹁木示申﹂と﹁木ネ申﹂のどちらも表示されることがあります。それはなぜなのか、どちらかを明示する方法はあるのかを調べました。 まとめ・榊の字形には﹁木示申﹂と﹁木ネ申﹂がある。 ・JIS の標準が﹁木ネ申﹂から﹁木示申﹂に変化したため、使うフォントによって字形が異なる。 ・Unicode では、榊 (U+698A) の字形は使用言語によって異なる。日本語では﹁木示申﹂、中国語では﹁木ネ申﹂ ・Unicode では、﹁木示申﹂と﹁木ネ申﹂は異体字 (IVS) によっても明示できる。 ﹁木ネ申﹂を明示的に表示させるには、 <span lang="zh">榊</span> U+698A U+E0100 U+698A U+E0102のいずれかでできる。ただし、結局は使用するフォントに依存する。 はじめに あるツイートがきっかけで、榊の特定の字
    榊の字形について｜小松 弘幸｜note

  • 行政サービスの100％デジタル化、課題は102万の外字統合

    安倍晋三首相を議長とする官民データ活用推進戦略会議は、行政サービスの100％デジタル化をうたうIT新戦略の基本方針を2017年12月22日に決定した。安倍首相は「戸籍や登記の証明書など電子申請にかかる紙の添付を一括して撤廃する」と宣言した。 現状では4万3000種類以上に上る行政手続きのうち、オンライン化しているのは12％にすぎない。一部の手続きが紙の書類を求めているためだ。 代表例が国籍や親族関係を証明する戸籍謄本・抄本である。住民は年金など社会保障の給付、旅券発行、婚姻や相続などの際に戸籍を置く市町村から紙の書類を取り寄せる必要がある。添付を求める手続きは年間4700万件に上る。 戸籍情報システムをオンライン化できないのは、各市町村が個別にシステムを構築した結果、文字コードなどの互換性に欠けるからだ。1948年に戸籍法が施行されて70年。政府は難問の解決に向けて本腰を入れ始めた。 約6

    行政サービスの100％デジタル化、課題は102万の外字統合

  • 『日本・中国・台湾・香港・韓国の常用漢字と漢字コード』と『文字コードの世界』 | yasuokaの日記 | スラド


    本日付で、私たち(安岡孝一・安岡素子)の﹃日本・中国・台湾・香港・韓国の常用漢字と漢字コード﹄(京都大学未踏科学研究ユニット・学知創生ユニット・人文科学研究所、2017年3月)が、無事に発行された。まずは、めでたい。 実は、この本は、私たちの﹃文字コードの世界﹄(東京電機大学出版局、1999年9月)の第5章﹁常用漢字と漢字コード﹂を、最新のものにアップデートしたい、という意図のもとに書かれた。なので、元々は﹁日本・中国・台湾・韓国﹂を予定していた。その後、執筆中に、香港を入れる必要性を感じたことから、いったんは﹁日本・中国・台湾・韓国・香港﹂としたのだが、どうも坐りが悪く、最終的に﹁日本・中国・台湾・香港・韓国﹂としたものである。表組も、最初は日中台韓だったものを、いったん日中台韓香にして、最後は日中台香韓に組み直した。 はずだったのだが、まだp.81に日中台韓香が残っている、との御指摘を
    『日本・中国・台湾・香港・韓国の常用漢字と漢字コード』と『文字コードの世界』 | yasuokaの日記 | スラド

  • EPUBの外字画像の使用事例について


    JEPAの村田真さんよりEPUB Accessibility 1.0絡みで現状のEPUBでの﹁外字画像﹂の使用事例を知りたいとのお話をいただきましたので、私の知る限りで書いてみます。何人かの方にもお話をお聞きし、参考とさせていただきました。 どういった種類の外字かをわかりやすくするために、各種文字集合規格のマップを作成し、各外字がどこに位置するかを以下に図示しました。解説の番号に対応しています。併せてご参照ください。 画像内で使用している文字関連の専門用語をまとめて記述しておきます。 Unicode‥1991年にバージョン1.0が出版された国際的な符号化文字集合の規格。世界中の文字を単一の文字集合で表記することを目的としている。2016年6月にUnicode9.0が出版されている。詳しくはこちら。 JIS X 0208‥1978年に最初に制定された日本の符号化文字集合の規格。改訂年度によっ
    EPUBの外字画像の使用事例について

  • 波ダッシュ問題はなぜ『文字コード技術入門』の第8章にあるのか - yanok.net


    Unicode 8.0では、U+301C WAVE DASH (波ダッシュ)の例示字形が変更されて、JIS X 0208/0213の1面1区33点の例示字形と同様の形になるそうです。UnicodeコンソーシアムのウェブサイトのBETA Unicode 8.0.0から確認することができます。 波ダッシュがシフトJIS等のJIS系の符号化とUnicodeとの間の変換で文字化けを生じるケースがあることは、拙著﹃プログラマのための文字コード技術入門﹄第8章で説明しました。Unicode仕様書の例示字形は問題の一部でしかありませんが、これが是正されることは良いことだと思います。 さて、上記﹃文字コード技術入門﹄は全8章とAppendixとからなりますが、波ダッシュ問題について記しているのは本編の最後である第8章です。この位置に置かれていることには理由があります。 それは、この問題をきちんと理解するた

  • UnicodeのWAVE DASH例示字形が、25年ぶりに修正された理由　

    UnicodeのWAVE DASH例示字形が、25年ぶりに修正された理由　

  • upTeX で文字コード情報を調べる upjcode パッケージ - TeX Alchemist Online


    日頃日本語組版の作業をしていると， この人名漢字って JIS (ISO-2022-JP) で表現可能な JIS X 0208 の範囲に入っていたっけ？ JIS X 0208 のxx区yy点 に相当する文字は何だっけ？ その Unicode 符号位置はどこかな？ この文字の UTF-8 表現のバイト列は？ EUC-JP では？ Shift-JIS では？ この旧字体は Unicode BMP 外だったっけ？ このBMP外文字のサロゲートペアはどの符号位置に来る？ といった疑問を抱く場面に多々出会います。 そういうとき，いちいち文字コード表にあたって調べるのは面倒なので，TeX (upTeX) の機能を使って，このような疑問に全自動で答えられるようにすることを目指しました。 目標1‥JIS X 0208 の区点位置から文字コード情報を得る JIS X 0208 の﹁xx区yy点﹂という区点位
    upTeX で文字コード情報を調べる upjcode パッケージ - TeX Alchemist Online

  • サービス終了のお知らせ


    サービス終了のお知らせ いつもYahoo! JAPANのサービスをご利用いただき誠にありがとうございます。 お客様がアクセスされたサービスは本日までにサービスを終了いたしました。 今後ともYahoo! JAPANのサービスをご愛顧くださいますよう、よろしくお願いいたします。

  • Unicode Character 'LINE SEPARATOR' (U+2028)

    Unicode Character 'LINE SEPARATOR' (U+2028) Browser Test Page Outline (as SVG file) Fonts that support U+2028 Unicode Data Name LINE SEPARATOR Block General Punctuation Category Separator, Line [Zl] Combine 0 BIDI Whitespace [WS] Mirror N Index entries LINE SEPARATOR SEPARATOR, LINE Comments may be used to represent this semantic unambiguously Version Unicode 1.1.0 (June, 1993) Encodings HTML Enti

    makoto15
    makoto15 2014/11/12
    line separator
    リンク

  • 第1回 漢字コードの基礎、JISコード


    官庁や自治体における、いわゆる行政情報システムでは、一風変わった漢字コードが用いられている。人名や地名に必要な漢字を、それぞれの省庁が思い思いの形で、情報システムに搭載してきたためだ。本特集では、これら行政情報処理用漢字コードのうち、現在かなり大きなシェアを持つ3つの漢字コードの現状をお伝えしようと思う。 その3つとは、総務省系の﹁住民基本台帳ネットワーク統一文字﹂、法務省系の﹁戸籍統一文字﹂および﹁入国管理局正字﹂だ。さらに、これら3つの漢字コードを一体に統合すべく構築されつつある、経済産業省系の﹁文字情報基盤︵IPAmj︶﹂を最終回で扱う。 ただ、これら4つの漢字コードを理解するためには、JISで制定された漢字コードの理解が不可欠なことから、第1回の今回は、﹁JIS X 0213﹂と﹁JIS X 0212﹂について、行政情報処理の視点、特に異体字処理の視点から述べることにする。 マイナ
    第1回 漢字コードの基礎、JISコード

  • 豆腐のいろいろ - 帰ってきた💫Unicode刑事〔デカ〕リターンズ


    欠字を意味するいわゆる﹁豆腐﹂の表示には、フォントのGID=0に割り当てられているグリフが用いられる*1。 こんなかんじ。まあ、XP以前のMSフォントが表示するような﹁・﹂は﹁豆腐﹂とは呼ばないだろうけど。 *1:このエントリの最初のバージョンには﹁ヒラギノなどのAdobe-Japan1フォントではGID=0にグリフが割り当てられていないので、OS X上のInDesignでよく見かける豆腐は、フォールバックで表示されるAquaKanaのGID=0だと思う﹂と書きましたが、それは勘違いでした。Adobe-Japan1フォントも豆腐︵nofdef︶グリフを持っています。@monokanoさん、ご指摘ありがとうございます！
    豆腐のいろいろ - 帰ってきた💫Unicode刑事〔デカ〕リターンズ

  • iOS 7のメールで「目がハート」が「狼」に化ける（直りました） - 帰ってきた💫Unicode刑事〔デカ〕リターンズ


    この項10月28日追記。iOS 7.0.3でSoftBankiPhoneのメールアプリの仕様が修正され、charset=Shift_JISのSoftBank絵文字が表示されるようになった。 昨日のエントリの続き。iOS 6のSoftBankiPhoneでは、メールアプリはShift_JISのSoftBank絵文字︵下図、黄色字の領域︶をテーブル変換していたが、iOS 7ではこのプロセスが落ちていて、0xF040以降は機械的にUnicodeの私用領域の文字に変換されるようになった。このため、charset=Shift_JISで送られてきた絵文字は、大半が豆腐に化ける。 ただしiOSは、Unicodeの私用領域にSoftBank絵文字を収録している。このため、﹁機械的に私用領域の符号位置に変換された絵文字が、たまたま別の絵文字と衝突する﹂︵つまり、別の絵文字に化ける︶というケースもある。下
    iOS 7のメールで「目がハート」が「狼」に化ける（直りました） - 帰ってきた💫Unicode刑事〔デカ〕リターンズ

  • iOS 7の@i.softbank.jpアドレスで絵文字が表示できない（直りました） - 帰ってきた💫Unicode刑事〔デカ〕リターンズ


    この項10月28日追記。iOS 7.0.3でSoftBankiPhoneのメールアプリの仕様が修正され、charset=Shift_JISのSoftBank絵文字が表示されるようになった。 iOS 7のメールアプリで@i.softbank.jpアドレスを使用している場合、受信したメールに含まれる絵文字が表示されない︵豆腐に化ける︶というトラブルが発生している。iOS 7のメールアプリがcharset=Shift_JISのSoftBank絵文字を解釈︵デコード︶せず、機械的に私用領域の文字に変換しているのが原因だと思われる。SoftBankiPhoneのメールは﹁SoftBank仕様﹂となっているが、iOS 7ではその﹁SoftBank仕様﹂の部分に問題があるようだ。 解釈︵デコード︶の問題なので、iOS 6時代に受信したメールでも、絵文字が化ける。 iOS 7同士なら︵iOS 7は@i
    iOS 7の@i.softbank.jpアドレスで絵文字が表示できない（直りました） - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
  • 1 2 3 4 5 次のページ

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.