2020-06

前回までで、形態素解析に必要な項目のうち、ラティス構造を求めて、コストを推定するところまで来た。あとは、そのコストが最小となる経路をどうやって見つけるかだけが残っている。今回は、その最小コストとなる経路を求めるアルゴリズムの一つであるビタビ...

前回は、自然言語処理のうち、解析の部分に焦点を当てていた。その中でも、特に構造的な解析を行う二つの解析を紹介した。形態素解析構文解析今回は、このうち、形態素解析を具体的にどうやっているのかというお話をしよう。実際にはツールでやってくれるのだ...

前回は…結局日本語の構造だけで終えてしまった。今回こそ、本格的に自然言語処理の内容に入っていこう。まずは、自然言語の内容を解析しなければいけない。この解析は、大きく分けると構造の解析と意味の解析になる。そのうち、構造の部分について解説してい...

前回まで、自然言語処理の中で使用する機械学習に焦点を当てて解説してきた。具体的には、学習時に正解データも与えて学習する教師あり学習、その中でも二つ以上のラベルに分類する分類器というものを扱ってきた。しかし、これはあくまで手段だ。そろそろ、大...

前回は、ナイーブベイズ分類器という機械学習の分類を行うアルゴリズムを紹介した。で、方法を解説したのだが、これがどの程度正しく推測できているかが気になるところだ。というわけで、今回はこの分類器の評価方法を解説していこう。ちょっとサンプルソース...

前々回は、そもそもの自然言語処理とは何かと、それによく使われる機械学習の概要を説明した。自然言語処理勉強結果「機械学習って何？」 | Shino's Mind Archiveただ、これだけだとまだ具体的なものがないため、イメージも湧きづらい...

今、別記事で自然言語処理を学習している。その中で出てくる機械学習の部分で、結構数学の知識が必要となる。それを補足していこうというのが、本記事の内容だ。今回は、確率を解説する。案外苦手な人も多いであろう部分なので、基本的な部分から解説していこ...

先日、本屋で以下の本を見つけてジャケ買いしてしまった。というわけで、現在自然言語処理を学習している。…のだが、ただ勉強するだけではなかなか定着しづらい。というわけで、それを忘れないようにここで解説しようということで書き始めた。で、なぜ自然言...