生成AIパスポート 第6回　生成AI　問5（全12問）

言語モデルの「トークン」の種類について、Google「機械学習用語集」の説明に照らして、不適切なものを1つ選びなさい。

1. 1単語をトークンにする場合、「dogs like cats」は「dogs」「like」「cats」の3つのトークンになる。
2. 2トークンは必ず単語単位で、1文字ずつをトークンとして扱うことはない。
3. 3文字をトークンにする場合、「bike fish」は空白も1つのトークンとして数えて9つのトークンになる。
4. 4サブワードをトークンにする場合、1つの単語が1つのトークンになることも、複数のトークンになることもある。

選択肢を押すと答え合わせができます。