生成AIパスポート 第3回 生成AI 問6(全12問)
Constitutional AI(2022年の論文)の内容として、適切なものを1つ選びなさい。
適切(これが正解)。論文は、有害な出力を示す人間のラベルなしに、ルールや原則の一覧だけを人間の監督として与える方法をConstitutional AIと呼び、AIの選好から作った選好モデルを報酬とする強化学習(RL from AI Feedback、RLAIF)を行ったとしている。
不適切。有害な出力を示す人間のラベルは使っていない。
不適切。論文は、有害な質問にも異議を説明しながら応じる、回避的でないアシスタントを学習できたとしている。
不適切。教師あり学習の段階と強化学習の段階の両方がある。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » RLHF・報酬モデル
正解
1
解説
RLHFでは人間が出力を比べて評価するが、Constitutional AIでは、原則に照らしてAI自身が批評・修正し、AIの評価をもとに学習する。人間の評価の手間を減らしながら、振る舞いをより細かく制御することを目指した。