生成AIパスポート 第4回 生成AI 問9(全12問)
Transformerを提案した論文「Attention Is All You Need」(2017年)の内容として、不適切なものを1つ選びなさい。
適切。論文の要旨のとおり。
適切。論文の要旨のとおり。
不適切(これが正解)。論文は、Transformerは注意の仕組みだけに基づき、再帰と畳み込みを完全に排したとしている。
適切。論文は、英語の構成素構文解析にうまく適用でき、ほかのタスクにもよく汎化するとしている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » Transformer・Self-Attention
正解
3
解説
RNNは単語を1つずつ順番に処理するため並列化しにくかった。Transformerは注意の仕組みで単語どうしの関係を一度に計算でき、大規模な学習が可能になった。