生成AIパスポート 第6回 生成AI 問7(全12問)
ニューラルネットワークの「アテンション(注意機構)」について、Google「機械学習用語集」の説明に照らして、適切なものを1つ選びなさい。
不適切。単語ごとの重要度を示す仕組みである。
不適切。それはデータ拡張の説明である。
不適切。重みはネットワークの別の部分が計算する。
適切(これが正解)。用語集は、アテンションを、特定の単語や単語の一部の重要度を示す仕組みとし、次のトークンを予測するのに必要な情報量を圧縮するとしている。典型的には入力の重み付きの和で、重みはネットワークの別の部分が計算するとしている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » 確率的な次トークン予測
正解
4
解説
用語集は、セルフアテンションとマルチヘッドセルフアテンションをTransformerの構成要素としている。LLMは、文脈の中のどの語に注目するかを計算しながら、次のトークンの確率を求めていく。