Q53 — AWS AIF-C01 第3章

第 53/100 問 | ← 第3章

グローバルな企業が、顧客チャット能力を拡張するAI支援ツールを構築しようとしています。すべての生成されたチャット応答は、前向きで、親しみやすく、偏りのないものでなければなりません。このような要件を満たす基礎モデル（FM）を特定するために、どの評価手法が有効ですか？

• A. Amazon SageMaker Clarify を使用して、過去の顧客チャットデータセット内でバイアスを識別する
• B. AWS AIサービスカードを用いて、各モデルのベンチマーク性能例をレビューする
• C. Amazon Augmented AI (A2I) を使用して、顧客に送信する前に応答をレビューする
• D. Amazon SageMaker Clarify を使用して、テストデータセット上でモデルの毒性（toxicity）を定量化する ✓

正解: D. Amazon SageMaker Clarify を使用して、テストデータセット上でモデルの毒性（toxicity）を定量化する

解説

AI支援ツールを構築する際、生成されるチャット応答が前向き・親しみやすい・偏りのないという要件を満たすために、モデル評価が必要です。Amazon SageMaker Clarify は、テストデータセット上でモデルの毒性（不適切・偏り・有害な出力の程度）を定量化するツールです。この毒性の定量化により、所望の品質要件を満たす基礎モデル（FM）を特定できます。したがって、テストデータセット上で Amazon SageMaker Clarify を用いてモデル毒性を定量化することが、適切な評価手法です。