投稿者: 
Perplexityについて
以前の投稿で、言語モデルは不自然な文に対して学習が困難であることを示した. 言語モデルの基本的な仕組みは、次に来る単語を予測するという作業の連続である. 言い換えるならば、学習とは、膨大なテキストデータから単語間の関連性を見つけ出し、次に来る単語を正確に予測できるようにモデルを訓練するプロセスである.
この観点から、言語モデルの性能を評価する指標として「Perplexity」が使用されている. Perplexityとは、言語モデルがどれだけ優れているかを示す指標であり、特定の単語が出現する確率の逆数で計算される. モデルが次に来る単語を高い確率で予測できればPerplexityは低くなり、逆に予測が不正確であるほどPerplexityは高くなる. つまり、Perplexityが低ければ低いほど、言語モデルの予測精度が高く、優れたモデルであると評価される.
先日の投稿でも述べたように、不自然な文について学習が困難であることが、この指標に反映される.
P.S.
この指標は「困惑度」とも呼ばれる. モデルがうまく予測できないということは、言語モデルがどれだけ困惑しているかを示していると言えるだろう.
参考文献
- 斎藤康毅. (2018). ゼロから作る Deep Learning ②: 自然言語処理編. オライリー・ジャパン.