生成AIパスポート 第1回 生成AI 問6(全12問)
言語モデルのスケーリング則(Scaling Laws)を報告した論文(2020年)の内容として、不適切なものを1つ選びなさい。
不適切(これが正解)。論文は、ネットワークの幅や深さなどの構造の細かい違いは、広い範囲で影響が小さいとしている。
適切。損失はモデルの大きさに対してべき乗則でスケールする。
適切。損失はデータセットの大きさに対してべき乗則でスケールする。
適切。損失は学習に使う計算量に対してべき乗則でスケールする。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » スケーリング則
正解
1
解説
スケーリング則は「モデル・データ・計算量を大きくすれば、予測できる形で性能が上がる」という経験則。これが、モデルの大規模化(LLM)を後押しした。