生成AIパスポート 第5回 生成AI 問10(全12問)
「Nグラム」と次の単語の予測について、Google「機械学習用語集」の説明に照らして、適切なものを1つ選びなさい。
不適切。順序が意味を持つため、別の2グラムになる。
不適切。単語の並びのことである。
不適切。用語集は、たとえば「happily ever」と入力されたら、3グラムに基づくモデルは次に「after」が来ると予測しやすいという例を挙げている。
適切(これが正解)。用語集は、NグラムをN個の単語の順序付きの並びとし、順序が関係するので「madly truly」は「truly madly」と別の2グラムだとしている。また、多くの自然言語理解モデルが、次に入力される単語の予測にNグラムを使うとしている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » 確率的な次トークン予測
正解
4
解説
言語モデルは、それまでの文脈から次に来るトークンの確率を計算し、その確率に基づいて次のトークンを選ぶ。Nグラムは直前の数語だけを見る素朴な方法で、LLMはずっと長い文脈を扱える。