EMNLP2014読み会で単語の表現学習と語義曖昧性解消を同時に解く論文を紹介しました
先週の土曜日にPFIで行ったEMNLP2014読み会で、Skip-gramモデル︵word2vec︶と語義曖昧性解消を同時に解く論文の紹介をしました。 発表スライドはこちら。 単語の表現学習と語義曖昧性解消を同時に解く話は、もう一つ論文がありましたが、なんだかいまいちだったのでこちらになりました。 要点だけ整理します。 Skip-gramモデルは、単語に対するベクトル表現を学習する手法として注目を集めています。 このモデルは、ある単語の出現が周囲の出現単語に影響を与えるため、中心単語のベクトルと周囲の単語のベクトル︵word2vecの実装では両者は別のベクトルとして区別します︶の内積のexpに比例する確率で、周辺単語が決定されるというモデルを置きます︵詳細は以前のスライド参照︶。 実データを使って、対数尤度が最大になるようにベクトルを学習します。 ここまでがSkip-gramでした。 この
