生成AIパスポート 第3回 生成AI 問2(全12問)
BERTを提案した論文(2018年)の内容として、不適切なものを1つ選びなさい。
適切。論文の要旨のとおり。
不適切(これが正解)。論文は、BERTはすべての層で左右両方の文脈を同時に条件とする、深い双方向の表現を事前学習するとしている。
適切。論文の要旨のとおり。
適切。論文は、出力層を1つ追加するだけでファインチューニングでき、11の自然言語処理タスクで最高水準の結果を得たとしている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » Transformer以後の派生モデル(BERT・GPT)
正解
2
解説
BERTはTransformerのエンコーダを使い、文章の理解(分類・質問応答など)が得意。GPTはデコーダを使い、左から右へ次のトークンを予測して文章を生成する。