生成AIパスポート 第4回 生成AI 問10(全12問)
GPT-3の論文(2020年)が示した内容として、適切なものを1つ選びなさい。
不適切。ファインチューニングなしで、フューショットの設定で評価した。
不適切。GPT-3は1,750億(175 billion)パラメータで、それまでの非スパースな言語モデルの10倍の規模である。
不適切。GPT-3は自己回帰型の言語モデルである。
適切(これが正解)。論文は、規模の拡大でフューショット性能が大きく向上することを示し、GPT-3は勾配の更新やファインチューニングなしに、テキストでのやり取りだけでタスクとデモンストレーションを与えて評価したとしている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » LMとLLM・創発的能力
正解
4
解説
プロンプトの中に例を示すだけで、モデルの重みを変えずに新しいタスクをこなせることを「インコンテキスト学習(文脈内学習)」と呼ぶ。規模を大きくすることで現れた能力として注目された。