生成AIパスポート 第5回 生成AI 問1(全12問)
Transformerで使われる「マルチヘッドアテンション(Multi-Head Attention)」について、論文「Attention Is All You Need」(2017年)の説明に照らして、適切なものを1つ選びなさい。
適切(これが正解)。論文は、マルチヘッドアテンションにより、モデルは異なる位置で異なる表現の部分空間からの情報に共同で注意を向けられ、ヘッドが1つだと平均化がこれを妨げるとしている。
不適切。ヘッドが1つだと平均化が妨げになる、というのが論文の説明である。
不適切。系列のすべての位置の関係を見る仕組みである。
不適切。Transformerは再帰も畳み込みも使わず、アテンションだけに基づくモデルとして提案された。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » Transformer・Self-Attention
正解
1
解説
Google機械学習用語集も、マルチヘッドセルフアテンションを、入力系列の各位置に対してセルフアテンションの仕組みを複数回適用する拡張とし、Transformerが導入したものとしている。