2020-06

自然言語処理学習結果

自然言語処理勉強結果「ビタビアルゴリズム」

前回までで、形態素解析に必要な項目のうち、ラティス構造を求めて、コストを推定するところまで来た。 あとは、そのコストが最小となる経路をどうやって見つけるかだけが残っている。 今回は、その最小コストとなる経路を求めるアルゴリズムの一つであるビ...
自然言語処理学習結果

自然言語処理勉強結果「形態素解析のコスト推定」

前回は、形態素解析には二つの段階があることと、その前半のラティス構造について解説した。 後半として、コストを推定し、その最小経路を探す部分が残っている。 今回は、そのコストを推定する部分について解説していこう。 このあたりは前回も書いた通り...
自然言語処理学習結果

自然言語処理勉強結果「形態素解析の詳細」

前回は、自然言語処理のうち、解析の部分に焦点を当てていた。 その中でも、特に構造的な解析を行う二つの解析を紹介した。 形態素解析構文解析 今回は、このうち、形態素解析を具体的にどうやっているのかというお話をしよう。 実際にはツールでやってく...
自然言語処理学習結果

自然言語処理勉強結果「形態素解析・構文解析」

前回は…結局日本語の構造だけで終えてしまった。 今回こそ、本格的に自然言語処理の内容に入っていこう。 まずは、自然言語の内容を解析しなければいけない。 この解析は、大きく分けると構造の解析と意味の解析になる。 そのうち、構造の部分について解...
自然言語処理学習結果

自然言語処理勉強結果「日本語の構造」

前回まで、自然言語処理の中で使用する機械学習に焦点を当てて解説してきた。 具体的には、学習時に正解データも与えて学習する教師あり学習、その中でも二つ以上のラベルに分類する分類器というものを扱ってきた。 しかし、これはあくまで手段だ。 そろそ...
自然言語処理学習結果

自然言語処理勉強結果「分類器の評価方法」

前回は、ナイーブベイズ分類器という機械学習の分類を行うアルゴリズムを紹介した。 で、方法を解説したのだが、これがどの程度正しく推測できているかが気になるところだ。 というわけで、今回はこの分類器の評価方法を解説していこう。 ちょっとサンプル...
自然言語処理学習結果

自然言語処理勉強結果「機械学習の分類器」

前々回は、そもそもの自然言語処理とは何かと、それによく使われる機械学習の概要を説明した。 自然言語処理勉強結果「機械学習って何?」 | Shino's Mind Archive ただ、これだけだとまだ具体的なものがないため、イメージも湧きづ...
自然言語処理学習結果

ナイーブベイズ分類器を理解するための数学「確率」

今、別記事で自然言語処理を学習している。 その中で出てくる機械学習の部分で、結構数学の知識が必要となる。 それを補足していこうというのが、本記事の内容だ。 今回は、確率を解説する。 案外苦手な人も多いであろう部分なので、基本的な部分から解説...
自然言語処理学習結果

自然言語処理勉強結果「機械学習って何?」

先日、本屋で以下の本を見つけてジャケ買いしてしまった。 というわけで、現在自然言語処理を学習している。 …のだが、ただ勉強するだけではなかなか定着しづらい。 というわけで、それを忘れないようにここで解説しようということで書き始めた。 で、な...
スポンサーリンク