生成AIパスポート 第6回 生成AI 問1(全12問)
Transformerを提案した論文「Attention Is All You Need」(2017年)が示した結果として、適切なものを1つ選びなさい。
適切(これが正解)。論文は、2つの機械翻訳タスクで、品質が優れ、より並列化しやすく、学習時間が大幅に短いことを示し、英仏翻訳では8台のGPUで3.5日の学習で単一モデルの最高スコアを出したとしている。
不適切。Transformerは再帰や畳み込みを使わず、アテンションだけに基づく。
不適切。学習にかかる時間が大幅に短いとしている。
不適切。論文は、英語の構文解析にも応用してうまくいくことを示し、ほかのタスクにもよく汎化するとしている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » Transformer・Self-Attention
正解
1
解説
RNNは系列を前から順に処理するため並列化しにくかった。Transformerは系列全体をまとめて計算できるため、GPUで並列に学習しやすく、大規模化(LLM)への道を開いた。