生成AIパスポート 第5回 生成AI 問7(全12問)
RLHF(人間のフィードバックによる強化学習)について、Google「機械学習用語集」の説明に照らして、不適切なものを1つ選びなさい。
適切。用語集のRLHFの定義のとおり。
適切。用語集が挙げる例のとおり。
適切。用語集は、システムがフィードバックに基づいて今後の応答を調整できるとしている。
不適切(これが正解)。RLHFは、人間の評価者からのフィードバックを使う手法である。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » RLHF・報酬モデル
正解
4
解説
ChatGPTのもとになったInstructGPTでは、人が出力に順位を付けたデータで報酬モデルを学習し、その報酬モデルを使って強化学習を行った。人の好みに合った、役に立つ応答に近づけるための工夫である。