単語トライグラム (G検定)

1. 定義と概要

単語トライグラムとは、テキストを単語単位に分割したうえで、連続する3つの単語の組を1つの単位として切り出す手法です。単語Nグラムにおいてnの値を3とした特殊ケースにあたります。

具体例を見ると分かりやすいでしょう。「私は自然言語処理（コンピュータに人間の言葉を処理させる技術分野）に興味があります」という文を分かち書き（文章の単語と単語の間に区切りを入れること）すると、「私／は／自然言語処理／に／興味／が／あります」という7つの単語に分かれます。この並びから連続する3語ずつを組にすると、「私-は-自然言語処理」「は-自然言語処理-に」「自然言語処理-に-興味」「に-興味-が」「興味-が-あります」という5つの単語トライグラムが得られます。

単語バイグラムは、直前の1語という限られた並びの情報しか手がかりに取り込めません。連続する3語をひとまとまりとして扱う単語トライグラムは、直前の2語という一回り広い並びの情報を単位に取り込めるため、バイグラムでは捉えきれない言い回しや定型表現のまとまりも手がかりとして扱える位置づけにあります。

一方で、組を単位にする語数が増えるほど、テキスト中に出現しうる単語の組み合わせの種類が急激に増えることは避けられません。その結果、コーパス（自然言語処理の学習や分析に使う、大量に集められたテキストデータ）の中で個々の組み合わせに割り当てられる出現回数はまばらになりやすくなります。

この状態はスパース（データの組み合わせパターンが多すぎて、個々の出現回数がまばらで少なくなっている状態）と呼ばれます。単語トライグラムを安定して扱うには、単語バイグラム以上に大きな規模のコーパスが必要になるわけです。

2. 試験対策ポイント

まず整理しておきたい基本は、単語トライグラムが単語Nグラムでn=3とした場合を指す語で、連続する3つの単語をひとまとまりの単位として扱う点です。単語バイグラムが直前の1語分の並びしか捉えられないのに対し、単語トライグラムは直前の2語分の並びを単位に取り込めます。そのため、複合語に加えて「に興味がある」のようなより長い言い回しや定型表現のまとまりも1つの特徴として扱いやすくなる点が、あわせて整理しておきたいポイントです。

一方で、組み合わせの種類（語彙）はバイグラムよりさらに増え、個々の組み合わせの出現頻度がまばらになる、いわゆるデータスパース性の問題が顕著になります。

単語トライグラムを安定して扱うには、バイグラム以上に大きな規模のコーパスが必要になるという制約も、あわせて押さえておきたい論点です。文脈の広さと組み合わせの多さのバランスから、統計的な言語モデル（単語や文字の並びがどれくらい自然かを確率で表すモデル）では、実用上nを3程度までにとどめる使われ方がよくされてきました。

トライグラムよりさらに大きなn、たとえば4以上にした場合は、より長い文脈を捉えられる代わりにスパース性の問題がいっそう深刻になり、十分なコーパスが用意できるかどうかが採用の分かれ目になります。このトレードオフは、単語Nグラム全般に共通する論点です。

3. 関連概念との比較・相違点

単語バイグラムとの最大の違いは、捉えられる文脈の長さとデータスパース性のトレードオフにあります。両者を観点ごとに並べると、次のように対応します。

観点	単語バイグラム	単語トライグラム
単位に取り込む並び	直前の1語分	直前の2語分
扱えるまとまり	複合語のような短い言い回し	定型表現のようなより長い言い回し
組み合わせの種類	相対的に少ない	急激に増える
必要なコーパスの規模	相対的に小さくてすむ	単語バイグラムより大きな規模が必要

組み合わせの種類が増えるほど、個々の組み合わせの出現頻度はまばらになります。データスパース性の問題が単語トライグラムのほうで顕著になるのは、この理由からです。

4グラム以上、つまりnをさらに大きくした単語Nグラムとの違いは、文脈の広さとスパース性の限界です。単語トライグラムよりnを大きくすると文脈はさらに広く捉えられますが、その分だけ組み合わせの急増とスパース性の悪化が単語トライグラム以上に進みます。文脈を捉える力とスパース性のバランスから、単語トライグラム程度が実用上の目安としてよく使われてきました。

4. ビジネス・実務での活用シナリオ

予測変換・入力補完の分野では、直前の2語の並び、つまり単語トライグラムをもとに次に来やすい単語を統計的に推定する仕組みが使われます。単語バイグラムだけを手がかりにするよりも文脈を反映しやすくなり、変換候補の精度が高まるという効果につながるでしょう。

検索エンジンや情報検索の分野では、「に興味がある」のような3語からなる定型的な言い回しを単語トライグラム単位で捉えることで、単語の並びを踏まえた検索結果の関連性向上につながります。個々の単語だけを見る場合より、利用者の意図に近い評価がしやすくなるはずです。

テキスト分類やスパム検知の分野では、単語バイグラムでは捉えにくい3語分のまとまった言い回しのパターンを分類の手がかりに加えることで、文脈をより反映した精度向上に活用できます。ただし、十分な規模のコーパスが無いとスパース性の影響を受けやすい点には注意が必要です。

5. 要点まとめ

• 単語トライグラムは単語Nグラムのn=3にあたり、連続する3つの単語をひとまとまりの単位として扱う手法です。
• 単語バイグラムより広い直前2語分の文脈を捉えられる一方、組み合わせの種類が急激に増えてデータスパース性の問題が顕著になり、安定して扱うには大きな規模のコーパスが必要になります。
• 文脈の広さと組み合わせの多さのバランスから、統計的な言語モデルでは実用上n=3程度までがよく使われてきました。

6. 確認問題