Q9 — AWS AIF-C01 第2章

第 9/100 問 | ← 第2章

生成AIモデルの文脈において、「トークン（tokens）」とは何ですか？

• A. トークンは、生成AIモデルが処理する基本的な入力および出力単位であり、単語、サブワード、またはその他の言語単位を表すことができます。 ✓
• B. 生成AIモデルにおいて、トークンは単語または概念の数学的表現です。
• C. 「トークン」とは、生成AIモデル内で事前学習済みの重みを指し、これらの重みは特定のタスクに対してファインチューニングされます。
• D. トークンは、生成AIモデルに与えられる具体的なプロンプトまたは指示であり、これにより出力が生成されます。

正解: A. トークンは、生成AIモデルが処理する基本的な入力および出力単位であり、単語、サブワード、またはその他の言語単位を表すことができます。

解説

生成AIモデルの文脈において、トークン（tokens）はモデルが処理する基本的な入力および出力単位です。これらのトークンは、単語、サブワード、あるいはその他の言語単位を表すことができ、モデルがテキストを理解・生成するための基盤となります。入力シーケンスを個々のトークンに分割することで、モデルはテキストデータをより効率的に処理・分析できます。したがって、選択肢Aは、生成AIモデルにおけるトークンの役割および定義を正確に説明しています。 詳細を見る