生成AIパスポート 第5回 生成AI 問8(全12問)
スケーリング則の論文(2020年)が、計算資源の配分について示したこととして、適切なものを1つ選びなさい。
不適切。論文の結論とは逆である。
不適切。論文は、過学習のモデル・データの大きさへの依存や、学習の速さのモデルの大きさへの依存も、簡単な式で表せるとしている。
適切(これが正解)。論文は、大きなモデルほどサンプル効率がはるかに高く、計算効率が最適な学習は、非常に大きなモデルを比較的控えめな量のデータで学習させ、収束のかなり前で止めることだとしている。
不適切。論文は言語モデルの性能を対象にしている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » スケーリング則
正解
3
解説
この論文は、決まった計算予算をモデルの大きさ・データ量・学習時間にどう配分するのが最適かを示した。その後の研究で最適な配分の見直しもあり、モデルとデータの両方をバランスよく増やす考え方も広がった。