生成AIパスポート 第1回 生成AI 問2（全12問）
BERTについて、適切なものを1つ選びなさい。
不適切。左から右へ次の単語を予測する一方向のモデルはGPTの系統である。BERTは双方向である。
適切（これが正解）。BERT（Bidirectional Encoder Representations from Transformers）は、ラベルのない文章から、すべての層で左右の文脈を同時に条件として双方向の表現を事前学習する。
不適切。BERTはラベルのない文章で事前学習し、その後、出力層を1つ足して個別のタスク向けにファインチューニングする。
不適切。BERTは文章を理解するための言語モデルである。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » Transformer以後の派生モデル（BERT・GPT）
正解
2
解説
Transformer以後、エンコーダ側を使って文章の理解に強いBERT、デコーダ側を使って文章の生成に強いGPTという2つの系統が生まれた。