生成AIパスポート 第3回 生成AI 問10(全12問)
GPT-3の論文(2020年)が問題として取り上げた「データ汚染(data contamination)」の説明として、適切なものを1つ選びなさい。
不適切。モデルが物理的に壊れるという問題ではない。
不適切。利用の禁止の仕組みのことではない。
不適切。データの量の不足の問題ではない。
適切(これが正解)。論文は、Common Crawlなどのデータセットで大容量のモデルを学習させるとき、テスト用データセットの内容がWeb上に存在するため学習データに含まれうる「データ汚染」を問題として取り上げ、その測定を行った。
選択肢を押すと答え合わせができます。
論点
生成AIパスポート » 生成AI » 学習データの規模と課題
正解
4
解説
テストの答えが学習データに混ざっていると、モデルが「答えを覚えていた」だけなのに性能が高く見えてしまう。大規模な学習データには、ほかにも偏り、誤り、権利の問題などの課題がある。