生成AIパスポート 第3回 生成AI 問4(全12問)
大規模言語モデルの「事前学習(プレトレーニング)」について、Google「機械学習用語集」の説明に照らして、不適切なものを1つ選びなさい。
適切。用語集の事前学習の定義のとおり。
適切。用語集が挙げている例のとおり。
適切。用語集は、事前学習の後に使われる手法として、蒸留、ファインチューニング、指示チューニング、パラメータ効率の良いチューニング、プロンプトチューニングを挙げている。
不適切(これが正解)。用語集は、事前学習済みモデルの中には扱いにくいものもあり、通常は追加の学習で磨く必要があるとし、蒸留、ファインチューニング、指示チューニングなどを挙げている。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » 事前学習・次トークン予測
正解
4
解説
大規模言語モデルは、事前学習で大量の文章から「次のトークンを予測する」ことを学び、言葉の使い方や幅広い知識を身につける。そのうえで指示に従うように追加の学習をする。