生成AIパスポート 第2回　生成AI　問4（全12問）

サブワードトークンについて、適切なものを1つ選びなさい。

1. 1どんな単語も、必ず1文字ずつのトークンに分けて扱う方法である。
2. 2どんな単語も、必ず辞書にある完全な単語の形でしか扱えず、単語の一部には分けない方法である。
3. 3文章全体を1つのトークンとして扱う方法である。
4. 4あまり使われない単語を、接頭辞や接尾辞などのよく使われる部分に分けて扱う方法である。

選択肢を押すと答え合わせができます。