生成AIパスポート 第2回 生成AI 問7(全12問)
Transformerの構成について、Google「機械学習用語集」の説明に照らして、適切なものを1つ選びなさい。
不適切。用語集は、Transformerは畳み込みや再帰型ニューラルネットワークに頼らないとしている。
不適切。エンコーダだけ(BERTなど)、デコーダだけ(GPTなど)のモデルもある。
不適切。Transformerは自己注意の層を積み重ねたものとみなせる。
適切(これが正解)。用語集は、Transformerを自己注意の仕組みに頼るアーキテクチャとし、エンコーダ、デコーダ、又はその両方を含みうるとしている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » Transformer以後の派生モデル(BERT・GPT)
正解
4
解説
BERTはエンコーダだけを使い、文章の理解(分類など)が得意。GPTはデコーダだけを使い、次のトークンを予測して文章を生成する。