自然言語処理学習結果 自然言語処理勉強結果「単語の分散表現」
前々回、単語の意味理解の一つとして、コーパスを利用して共起語に着目する手法を解説した。これは、次元が大きくなりすぎるという問題点があり、それをなんとか削減したかった。今回は、そんな問題点を回避するために、前回解説したニューラルネットワークを...
shino.20191228
自然言語処理学習結果 
自然言語処理学習結果 自然言語処理勉強結果「ニューラルネットワーク」
前回まで、自然言語処理における単語の意味理解について解説していた。今回もその手法の一つ…ではない。というのも、それを解説するために、また機械学習に戻らなければいけない。今回は、機械学習におけるニューラルネットワークというものを解説しよう。な...
自然言語処理学習結果 自然言語処理勉強結果「単語の共起関係と意味」
前回は意味理解のうち、単語の意味を推測するための考え方を一つご紹介した。概念体系や、シソーラスといったものを使う手法だ。ただ、これには問題点があった。それを克服するための方法の一つとして、すでに書かれた、あるいは話された文章であるコーパスを...
紹介系 【数学】有限小数と分数の関係
中学時代、以下の性質を習うと思う。有限小数を分数に直して、その分母を素因数分解すると、素因数が2と5だけになる。あるいは、逆にある分数の分母を素因数分解して素因数が2と5だけなら、その数は有限小数である。確か、中学の時はこの事実だけ教えられ...
自然言語処理学習結果 自然言語処理勉強結果「概念体系とシソーラス」
前回は、自然言語処理における意味理解の概要全体をお話した。今回から、その詳細に入っていこう。まずは、単語の意味理解の中でも、概念体系やシソーラスといった辞書の一種のようなものを扱う方法を説明する。具体的なサイトも紹介するので、よかったら触っ...
自然言語処理学習結果 自然言語処理勉強結果「自然言語の意味理解」
前回までで、形態素解析ができるようになった。更に、ツールを使えばすでに構文解析も可能だ。となると、次のフェーズは意味理解だ。というわけで、今回はこの意味理解について解説をしていこう。順番としては、まずは本記事でこの概要を、次回以降で細かい単...
自然言語処理学習結果 自然言語処理勉強結果「ビタビアルゴリズム」
前回までで、形態素解析に必要な項目のうち、ラティス構造を求めて、コストを推定するところまで来た。あとは、そのコストが最小となる経路をどうやって見つけるかだけが残っている。今回は、その最小コストとなる経路を求めるアルゴリズムの一つであるビタビ...
自然言語処理学習結果 自然言語処理勉強結果「形態素解析のコスト推定」
前回は、形態素解析には二つの段階があることと、その前半のラティス構造について解説した。後半として、コストを推定し、その最小経路を探す部分が残っている。今回は、そのコストを推定する部分について解説していこう。このあたりは前回も書いた通り、実際...
自然言語処理学習結果 自然言語処理勉強結果「形態素解析の詳細」
前回は、自然言語処理のうち、解析の部分に焦点を当てていた。その中でも、特に構造的な解析を行う二つの解析を紹介した。形態素解析構文解析今回は、このうち、形態素解析を具体的にどうやっているのかというお話をしよう。実際にはツールでやってくれるのだ...
自然言語処理学習結果 自然言語処理勉強結果「形態素解析・構文解析」
前回は…結局日本語の構造だけで終えてしまった。今回こそ、本格的に自然言語処理の内容に入っていこう。まずは、自然言語の内容を解析しなければいけない。この解析は、大きく分けると構造の解析と意味の解析になる。そのうち、構造の部分について解説してい...