Q82 — AWS AIF-C01 第1章

第 82/100 問 | ← 第1章

ある企業が、言語モデルを活用してエッジデバイス上で推論を行うアプリケーションを開発したいと考えています。この推論は可能な限り低いレイテンシを実現する必要があります。どのソリューションがこれらの要件を満たしますか？

• A. エッジデバイス上に最適化された小型言語モデル（SLM）を展開する。 ✓
• B. エッジデバイス上に最適化された大規模言語モデル（LLM）を展開する。
• C. エッジデバイスと非同期通信を行うための集中型小型言語モデル（SLM）APIを統合する。
• D. エッジデバイスと非同期通信を行うための集中型大規模言語モデル（LLM）APIを統合する。

正解: A. エッジデバイス上に最適化された小型言語モデル（SLM）を展開する。

解説

エッジデバイス上で低レイテンシ推論を実現するには、小型かつ最適化された言語モデルの採用が鍵となります。小型言語モデル（SLM）は、軽量アーキテクチャ、量子化、プルーニングなどの技術により、モデルサイズを大幅に縮小し、推論速度を向上させることで、リソース制約のあるエッジデバイスへの展開に適しています。一方、大規模言語モデル（LLM）は性能は高いものの、その複雑さと巨大なサイズゆえ、通常はエッジデバイスへの直接展開には不向きであり、高レイテンシや過剰なリソース消費を招く可能性があります。