![](https://cdn-ak-scissors.b.st-hatena.com/image/square/9eeafc699cc9599771c836053ac33988191fc062/height=288;version=1;width=512/https%3A%2F%2Fimg.logmi.jp%2Farticle_images%2F26iLfWi6Z3fRgaJ19cjA9r.png)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント12件
- 注目コメント
- 新着コメント
![T-norf T-norf](https://cdn.profile-image.st-hatena.com/users/T-norf/profile.png)
T-norf
ここらへん、トークナイザーの性能に大きく左右されそうで、GPT-3.5とGPT-4のトークナイザーは日本語に関しては別物って判断した記憶あるんだけど理由まで思い出せない。流れ早すぎて、オッサンの脳みそオーバーフローよ
![otchy210 otchy210](https://cdn.profile-image.st-hatena.com/users/otchy210/profile.png)
otchy210
文字コードに頼ってるうちはたぶん限界があって、大量の動画だけを学習させて、その中から文字も言語も全てを学ぶレベルに達したらとてつもないことになると思う。その時一番強いのは YouTube 擁する Google かも。
![T-norf T-norf](https://cdn.profile-image.st-hatena.com/users/T-norf/profile.png)
T-norf
ここらへん、トークナイザーの性能に大きく左右されそうで、GPT-3.5とGPT-4のトークナイザーは日本語に関しては別物って判断した記憶あるんだけど理由まで思い出せない。流れ早すぎて、オッサンの脳みそオーバーフローよ
![fog-og-frog2 fog-og-frog2](https://cdn.profile-image.st-hatena.com/users/fog-og-frog2/profile.png)
fog-og-frog2
旧字体と新字体で思い出したんだけど、台湾語を放り込んでたら訳はできるけど、明らかに繁体字に引っ張られてるのよ/タイ語とか合字前提のコード体系ってそれだけでトークン消費するし難しいなってふと思った
![gabill gabill](https://cdn.profile-image.st-hatena.com/users/gabill/profile.png)
gabill
\u72ac\u3068\u732b\u306e\u9055\u3044\u306f\u306a\u3093\u3067\u3059\u304b\uff1f ←こんな感じのユニコードの文字列をChatGPTに突っ込むと、普通に解読して読んでくれる。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
いまの話題をアプリでチェック!
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
ChatGPTは文字コードをどのように解釈しているか Unicodeの「日本語認識」「括弧の抽出」「旧字体と新字体の変換」を実験してみた
﹁YAPC︵Yet Another Perl Conference︶﹂は、Perlを軸としたITに関わるすべての人のためのカンファレン...
﹁YAPC︵Yet Another Perl Conference︶﹂は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ライトニングトークにはPR TIMES インターンのShun氏が登壇。ChatGPTと文字コードについて話します。 ChatGPTは文字コードをどのように解釈しているか 土屋俊介氏‥こんにちは。先ほど、発表が4分だと知った土屋です。PR TIMESというところで、機械学習のインターンをしています。 ︵スライドを示して︶昨今、ChatGPTというものがメチャメチャはやっていますよね。私は使っていく中で、︵ChatGPTが︶文字コードをどのように解釈しているかが気になりました。なぜそんなニッチな話が気になるのかというと、自然言語処理とWebに関わっている以上、文字コードに関するプログラムをよく書くんです。その関係で気になったので調べてみました。 ︵スライ
2023/05/10 リンク