GitHub - togatoga/kanpyo: Japanese Morphological Analyzer written in RustYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
表記揺れ検出ツール「テキストゆれないくん」 - inzkyk.xyz
その他のサンプル: Wikipedia:良質な記事, Wikipedia:長いページ 紹介 「テキストゆれないくん」は文章に含まれる表記揺れを検出するツールです。「コンピュータ」と「コンピューター」、あるいは「全て」と「すべて」といった同じ単語の別表記が使われていないかどうかをチェックできます。 「テキストゆれないくん」は元々このサイト (https://inzkyk.xyz/) の文章校正用に開発されました。機能が成熟してきたので UI を付けて公開します。 このページから手動で使う限り、「テキストゆれないくん」は商用/非商用を問わず自由に使って構いません。「テキストゆれないくん」は無保証で提供されます。 特徴 ウェブブラウザから使える このページをウェブブラウザで開いているなら、「テキストゆれないくん」は既に動いています。このページの最初にあるのは「テキストゆれないくん」を使うための完
Typoless（タイポレス） 朝日新聞社の文章校正AI
変換ミス アンケートにご解答ください アンケートにご回答ください 過小申告にあたります 過少申告にあたります
そあん（soan）：古活字画像を用いて現代日本語テキストをくずし字画像に変換／共有するサービス
Jagger - C++ implementation of Pattern-based Japanese Morphological Analyzer
Jagger - C++ implementation of Pattern-based Japanese Morphological Analyzer About Jagger is a fast, accurate, and space-efficient morphological analyzer [1] inspired by the dictionary-based longest matching for tokenization and the precomputation of machine-learning classifiers. Jagger applies patterns, which are extracted from morphological dictionaries and training data, to input from the begin
最長一致パターンに基づく高速・高精度な日本語形態素解析
ynaga@iis.u-tokyo.ac.jp 1/2 1/20 1,000,000 / C++ 1000 http://www.tkl.iis.u-tokyo.ac.jp/∼ynaga/jagger 1 Twitter Zoom, Slack [1] GPU [2, 3] [4, 5] ( ) () (MeCab, Vaporetto) MeCab 15 Vaporetto 10 (M2 MacBook Air 1,000,000 /) 2 [6] ( ) [7, 8] [9, 10] [11] ― 351 ― 言語処理学会 第29回年次大会 発表論文集 (2023年3月) This work is licensed by the author(s) under CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Algor
続・MeCabの分かち書きを並列処理で高速化する
まとめ Pythonから巨大なテキストファイルを並列に読み込み・処理・書き込みする方法を紹介 読み込み: テキストファイルをバイト列として見て、プロセスごとにファイルの読み込み区間を割り振る 処理: multiprocessingを用いた並列処理 書き込み: プロセスごとにtmpファイルへ並列に書き込み & catによる結合 はじめに 日本語形態素解析器であるMeCabを用いると、日本語のテキストに対する解析や処理が簡単に実行できます。 特に最近は、BERTをはじめとする深層学習モデルへの入力のための前処理として、MeCabなどを用いて文を単語単位に分割する「分かち書き」を行う機会が多くなっています。 MeCabはコマンドラインから実行することもできますし、Pythonなどからプログラム的に呼び出すことも可能です。 特にコマンドラインから実行する場合は、インストールさえ終わっていれば以下の
ShodoのAI校正APIを一般公開しました - ライティングラボ by Shodo
MeCab互換な形態素解析器Vibratoの高速化技法 - LegalOn Technologies Engineering Blog
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 自然言語処理の教科書: 小町守: Digital Ebook Purchas
https://www.anlp.jp/proceedings/annual_meeting/2016/pdf_dir/D6-5.pdf
GitHub - greyblake/whatlang-rs: Natural language detection library for Rust. Try demo online: https://whatlang.org/
GitHub - google/budoux
Getting Started with Natural Language Processing
Learn about grammar check in Search - Google Search Help
https://www.anlp.jp/proceedings/annual_meeting/2011/pdf_dir/C4-3.pdf
DeepL Write: AI-powered writing companion
GitHub - graykode/commit-autosuggestions: A tool that AI automatically recommends commit messages.
GitHub - daac-tools/vibrato: 🎤 vibrato: Viterbi-based accelerated tokenizer
GitHub - messense/jieba-rs: The Jieba Chinese Word Segmentation Implemented in Rust