生成AIパスポート 第1回 生成AI 問5(全12問)
ChatGPTの前身とされるInstructGPTで使われた、人間のフィードバックによる強化学習(RLHF)の3つの手順の順番として、適切なものを1つ選びなさい。
不適切。最初の手順は教師ありファインチューニングで、報酬モデルの学習は2番目である。
適切(これが正解)。①人が書いたお手本で教師ありファインチューニング(SFT)、②人がモデルの出力に付けた順位で報酬モデル(RM)を学習、③その報酬モデルを使って強化学習(PPO)、の3段階である。
不適切。強化学習は報酬モデルができてから行う、最後の手順である。
不適切。RLHFの3つの手順に事前学習のやり直しは含まれない。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » RLHF・報酬モデル
正解
2
解説
RLHFは、人の好みに合う答えを出せるようにする仕組み。人が「どちらの答えが良いか」を順位付けしたデータで報酬モデルを作り、その報酬が高くなるように言語モデルを強化学習で調整する。