生成AIパスポート 第1回　生成AI　問7（全12問）

言語モデルが扱う「トークン」について、不適切なものを1つ選びなさい。

1. 1トークンは、言語モデルが学習や予測を行うときの最小の単位である。
2. 2あまり使われない単語は、接頭辞や接尾辞などのサブワードに分けて扱われることがある。
3. 3よく使われる単語は、分けずにそのまま1つのトークンになることがある。
4. 4トークンは必ず1つの単語と一致し、単語の一部に分かれることはない。

選択肢を押すと答え合わせができます。