はじめに
本項では、放送大学教育振興会出版の黒橋禎夫『自然言語処理』の改訂版（2019年）と三訂版（2023年）を比較する。 自然言語処理の主流であった古典的手法が、ニューラルネットワーク的手法に圧倒されていくさまを見ることができる。 前著では比較的小さな扱いであったニューラルネットワーク的手法が後著では主役を占めることになるとは。 確かに歴史的場面を我々は見ている。
目次の変化
改訂版から三訂版への改訂にあたって読者の目を引くのは、目次の変化であろう。
| 章 | 改訂版 | 三訂版 | 改訂版との違い |
|---|---|---|---|
| 1 | 自然言語処理の概要と歴史 | 自然言語処理の概要と歴史 | 改訂版第1章に同じ。自然言語処理の歴史にニューラルネットワークモデルが追加された |
| 2 | 文字列・テキスト処理の基礎 | 文字列・テキスト処理の基礎 | 改訂版第2章に同じ。 |
| 3 | 系列の解析（１） | 言語リソースの構築（１） | 改訂版第4.1章のコーパスと同じ |
| 4 | コーパスに基づく自然言語処理 | 言語リソースの構築（２） | 改訂版第4.2章の言語モデルに加え、GLUEベンチマークとパープレキシティ（言語モデルの評価尺度） |
| 5 | 系列の解析（２） | 語の意味の扱い | 改訂版第6章に同じ |
| 6 | 意味の解析（１） | ニューラルネットワーク自然言語の基礎 | 新設。ニューラルネットワーク、語の埋込み、RNN 言語モデル、サブワード等 |
| 7 | 構文の解析（１） | 機械翻訳 | 改訂版第14章に加え、ニューラル機械翻訳（seq2seqモデル、注意機構） |
| 8 | 構文の解析（２） | Attention機構に基づくニューラルネットワークモデル | 新設。Transformer、位置符号化、自己注意、BERT、fine-tuning等 |
| 9 | 意味の解析（２） | 系列の解析 | 改訂版第3，5章に同じ |
| 10 | 文脈の解析 | 構文の解析 | 改訂版第7-8章に加え、BERTによる主辞選択等 |
| 11 | 情報抽出と知識獲得 | 文の意味の解析 | 改訂版第9章に同じ |
| 12 | 情報検索 | 文脈の解析 | 改訂版第10章に同じ |
| 13 | 対話システム | 情報検索 | 改訂版第11章に同じ |
| 14 | 機械翻訳 | 質問応答 | 改訂版第13章に追加 |
| 15 | まとめ | 対話システム | 改訂版第13章に追加 |
全体的に系列・意味論・構文論等の分野ごとに分離されていた古典的手法が、単一のニューラルネットワーク的手法に圧倒されていくさまを見ることができる。
改訂版と三訂版のキーワードの比較
放送大学の講義用教科書には各章にキーワードが付されている場合がある。 本節では、改訂版と三訂版における各章のキーワードを比較する。
改訂版
| 章 | 改訂版 | キーワード |
|---|---|---|
| 1 | 自然言語処理の概要と歴史 | 自然言語、言語の働き、自然言語処理の難しさ、自然言語処理の歴史 |
| 2 | 文字列・テキスト処理の基礎 | 文字コード、辞書式順序、ハッシュ法、トライ法 |
| 3 | 系列の解析（１） | 形態素解析、ラティス構造、ビタビアルゴリズム、未知語処理 |
| 4 | コーパスに基づく自然言語処理 | 生コーパス、注釈付与コーパス、言語モデル、分類問題 |
| 5 | 系列の解析（２） | 隠れマルコフモデル（HMM）、品詞タグ付け、系列ラベリング、CRF、固有表現認識 |
| 6 | 意味の解析（１） | 意味、内包的定義、外延的定義、メタファー、メトニミー、辞書、シソーラス、同義性、分布類似度、多義性、語義曖昧性解消 |
| 7 | 構文の解析（１） | 依存構造表現、句構造表現、文脈自由文法、CKY 法 |
| 8 | 構文の解析（２） | 構文的曖昧性、グラフ表現に基づく依存構造解析、Chu-Liu-Edmonds法、MSTParser |
| 9 | 意味の解析（２） | 述語項構造、格、意味役割、意味役割付与、格フレーム、格解析 |
| 10 | 文脈の解析 | 構文の解析|結束性、一貫性、共参照、照応、ゼロ照応、談話構造、RST |
| 11 | 情報抽出と知識獲得 | 関係抽出、イベント情報抽出、事態間関係、スクリプト |
| 12 | 情報検索 | 転置インデックス、TF-IDF法、適合率、再現率、F値、MAP、ページランク |
| 13 | 対話システム | ELIZA、SHRDLU、発話の意味、会話の公理、質問応答、音声対話、チューリングテスト |
| 14 | 機械翻訳 | 統計的機械翻訳、IBMモデル、単語アライメント、RNN 言語モデル、ニューラル機械翻訳、BLEU |
| 15 | まとめ | クラウドソーシング、テキスト含意認識、end-to-end 学習、言語生成 |
三訂版
| 章 | 三訂版 | 改訂版との違い |
|---|---|---|
| 1 | 自然言語処理の概要と歴史 | 自然言語、言語の働き、自然言語処理の難しさ、自然言語処理の歴史 |
| 2 | 文字列・テキスト処理の基礎 | 文字コード、辞書式順序、ハッシュ法、トライ法 |
| 3 | 言語リソースの構築（１） | 言語リソース、生コーパス、注釈付与コーパス、知識グラフ |
| 4 | 言語リソースの構築（２） | ベンチマーク、クラウドソーシング、言語モデル、分類問題 |
| 5 | 語の意味の扱い | 意味、内包的定義、外延的定義、メタファー、メトニミー、辞書、シソーラス、同義性、分布類似度、多義性、語義曖昧性解消 |
| 6 | ニューラルネットワーク自然言語の基礎 | ニューラルネットワーク、word embedding、RNN 言語モデル、サブワード、BPE |
| 7 | 機械翻訳 | 統計的機械翻訳、IBMモデル、単語アライメント、RNN 言語モデル、ニューラル機械翻訳、BLEU、end-to-end 学習 |
| 8 | Attention機構に基づくニューラルネットワークモデル | Transformer、BERT、pre-training、fine-tuning、T5、BART |
| 9 | 系列の解析 | 品詞タグ付け、隠れマルコフモデル（HMM）、ラティス構造、ビタビアルゴリズム、系列ラベリング、固有表現認識、形態素解析、未知語処理 |
| 10 | 構文の解析 | 依存構造表現、句構造表現、文脈自由文法、CKY 法、構文的曖昧性、主辞選択 |
| 11 | 文の意味の解析 | 述語項構造、格、意味役割、AMR、感情分析、含意関係認識 |
| 12 | 文脈の解析 | 結束性、一貫性、共参照、照応、ゼロ照応、談話構造、RST |
| 13 | 情報検索 | 転置インデックス、TF-IDF法、密検索手法、適合率、再現率、F値、MAP、ページランク |
| 14 | 質問応答 | Watson、機械読解、SQuAD、HOTPOTQA、オープンドメインQA、Closed-book QA |
| 15 | 対話システム | 発話の意味、会話の公理、ELIZA、SHRDLU、ATIS、ニューラル対話システム、Wizard of Wikipedia、BlenderBot |
Transformer、BERTあたりの機構は、これからの自然言語処理で主流になると思われる。
知識グラフ
今日では、超大規模コーパスで学習される汎用言語モデル（8章）が非常に強力であり、自然言語処理の観点では知識グラフの相対的価値は減少しつつある (p.44)
知識グラフの重要性の低下が述べられている。 情報存在論（オントロジー）の分野は直接的に被害を被る分野である。
含意関係認識
自然言語という有象無象から、古典論理で認められるような公理的推論を認識するタスクが含意関係認識であるが、BERTはこのタスクにおける成績が悪いらしく、興味深いことだと思う。 我々はこの結果を、自然言語が非古典論理的であることの定量的表現と解釈できる。
現在はF値が50ほどである談話構造分析も、いずれニューラルネットワーク的手法の発展に呑み込まれていくだろう。 語義曖昧性問題についても、著者は「ある意味で解決された」と述べている。
おわりに
自然言語処理は終焉してしまったのか。 終焉したとすればそれは、human-based な方法の敗北という意味であろう。
