新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた
このようにすることで、 そもそも mecab-ipadic-NEologdに意味はあるの? mecab-ipadic-NEologdで分かち書きして悪影響は無いの? mecab-ipadic-NEologdを週2回も更新することに意味はあるの?などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器はLIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、﹁s=5, c=0.8, B=-1﹂という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各
JUMAN++ - LANGUAGE MEDIA PROCESSING LAB
自然言語処理を自習したくなったら参考になりそうなサイトなど - 鴨川にあこがれる日々
Atilika: ai + language | Atilika
