生成AIパスポート 第1回 生成AI 問11（全12問）
GPT-3の論文（2020年）の内容として、不適切なものを1つ選びなさい。
適切。論文はGPT-3を、1,750億パラメータの自己回帰型言語モデルと説明している。
不適切（これが正解）。GPT-3の論文は、勾配の更新やファインチューニングをせず、テキストで示したタスクの説明と少数の例だけでタスクに取り組めることを示した。
適切。プロンプトに少数の例を入れるFew-Shotの性能が大きく伸びることを示した（論文名は「Language Models are Few-Shot Learners」）。
適切。自己回帰型の言語モデルは、前のトークンをもとに次のトークンを予測することをくり返して文章を生成する。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » 事前学習・次トークン予測
正解
2
解説
大規模言語モデルは、事前学習で「次のトークンを予測する」ことを大量の文章でくり返して作られる。GPT-3で、モデルを大きくするとプロンプトの例だけで新しいタスクをこなせるようになることが注目された。