自然言語処理学習結果 自然言語処理勉強結果「概念体系とシソーラス」
前回は、自然言語処理における意味理解の概要全体をお話した。今回から、その詳細に入っていこう。まずは、単語の意味理解の中でも、概念体系やシソーラスといった辞書の一種のようなものを扱う方法を説明する。具体的なサイトも紹介するので、よかったら触っ...
講座系
自然言語処理学習結果 
自然言語処理学習結果 自然言語処理勉強結果「自然言語の意味理解」
前回までで、形態素解析ができるようになった。更に、ツールを使えばすでに構文解析も可能だ。となると、次のフェーズは意味理解だ。というわけで、今回はこの意味理解について解説をしていこう。順番としては、まずは本記事でこの概要を、次回以降で細かい単...
自然言語処理学習結果 自然言語処理勉強結果「ビタビアルゴリズム」
前回までで、形態素解析に必要な項目のうち、ラティス構造を求めて、コストを推定するところまで来た。あとは、そのコストが最小となる経路をどうやって見つけるかだけが残っている。今回は、その最小コストとなる経路を求めるアルゴリズムの一つであるビタビ...
自然言語処理学習結果 自然言語処理勉強結果「形態素解析のコスト推定」
前回は、形態素解析には二つの段階があることと、その前半のラティス構造について解説した。後半として、コストを推定し、その最小経路を探す部分が残っている。今回は、そのコストを推定する部分について解説していこう。このあたりは前回も書いた通り、実際...
自然言語処理学習結果 自然言語処理勉強結果「形態素解析の詳細」
前回は、自然言語処理のうち、解析の部分に焦点を当てていた。その中でも、特に構造的な解析を行う二つの解析を紹介した。形態素解析構文解析今回は、このうち、形態素解析を具体的にどうやっているのかというお話をしよう。実際にはツールでやってくれるのだ...
自然言語処理学習結果 自然言語処理勉強結果「形態素解析・構文解析」
前回は…結局日本語の構造だけで終えてしまった。今回こそ、本格的に自然言語処理の内容に入っていこう。まずは、自然言語の内容を解析しなければいけない。この解析は、大きく分けると構造の解析と意味の解析になる。そのうち、構造の部分について解説してい...
自然言語処理学習結果 自然言語処理勉強結果「日本語の構造」
前回まで、自然言語処理の中で使用する機械学習に焦点を当てて解説してきた。具体的には、学習時に正解データも与えて学習する教師あり学習、その中でも二つ以上のラベルに分類する分類器というものを扱ってきた。しかし、これはあくまで手段だ。そろそろ、大...
自然言語処理学習結果 自然言語処理勉強結果「分類器の評価方法」
前回は、ナイーブベイズ分類器という機械学習の分類を行うアルゴリズムを紹介した。で、方法を解説したのだが、これがどの程度正しく推測できているかが気になるところだ。というわけで、今回はこの分類器の評価方法を解説していこう。ちょっとサンプルソース...
自然言語処理学習結果 自然言語処理勉強結果「機械学習の分類器」
前々回は、そもそもの自然言語処理とは何かと、それによく使われる機械学習の概要を説明した。自然言語処理勉強結果「機械学習って何？」 | Shino's Mind Archiveただ、これだけだとまだ具体的なものがないため、イメージも湧きづらい...
自然言語処理学習結果 ナイーブベイズ分類器を理解するための数学「確率」
今、別記事で自然言語処理を学習している。その中で出てくる機械学習の部分で、結構数学の知識が必要となる。それを補足していこうというのが、本記事の内容だ。今回は、確率を解説する。案外苦手な人も多いであろう部分なので、基本的な部分から解説していこ...